Согласовано (10054, WSAERROR) при загрузке кадра данных в Google BigQuery

Question

У меня проблемы с запуском этого кода. Он отлично выполнил пару недель go для набора из ~ 160 фреймов данных, но недавно Google BigQuery начал выбрасывать WSAERROR при попытке запустить код.

import glob
import pandas as pd
import os
import pandas_gbq as pd_gbq
import time
import tqdm
from google.cloud import bigquery, exceptions

for file in glob.glob(stage_folder)[:34]:
    df = pd.read_csv(file)
    pd_gbq.to_gbq(df, output_table, project_id = project_id, progress_bar= True, if_exists='append', chunksize = 330000)
    print('Sleeping...')
    time.sleep(300)

Я пытался модулировать размер фрагмента, но это только задержало начало WSAERROR, но не предотвратило его. Мое исследование показало, что это может быть проблема с заголовками, но как вы можете изменить заголовки в to_gbq?

Вот самая последняя трассировка. Я могу предоставить полный, если это необходимо, Stack просто интерпретирует полный возврат как спам.

---------------------------------------------------------------------------
SysCallError                              Traceback (most recent call last)
~\OneDrive - The Home Depot\Documents\anaconda3\lib\site-packages\urllib3\contrib\pyopenssl.py in _send_until_done(self, data)
    316             try:
--> 317                 return self.connection.send(data)
    318             except OpenSSL.SSL.WantWriteError:

~\OneDrive - The Home Depot\Documents\anaconda3\lib\site-packages\OpenSSL\SSL.py in send(self, buf, flags)
   1736         result = _lib.SSL_write(self._ssl, buf, len(buf))
-> 1737         self._raise_ssl_error(self._ssl, result)
   1738         return result

~\OneDrive - The Home Depot\Documents\anaconda3\lib\site-packages\OpenSSL\SSL.py in _raise_ssl_error(self, ssl, result)
   1638                     if errno != 0:
-> 1639                         raise SysCallError(errno, errorcode.get(errno))
   1640                 raise SysCallError(-1, "Unexpected EOF")

SysCallError: (10054, 'WSAECONNRESET')

Спасибо за вашу помощь!