Метод Pandas to GBQ, возвращающий GenericGBQException: причина 404 POST

Question

Эта ошибка только начала появляться в наших конвейерах.Я перемещаю фрейм данных, который составляет около 1,5 млн строк, используя метод pandas.to_gbq.

Любая помощь будет принята с благодарностью!

Код:

output.to_gbq('table_name', 
'project-id',
chunksize=50000, 
private_key='ga_auth.json',
if_exists='replace'
)

Ошибка:

   Traceback (most recent call last):
  File ".\rfm_bigquery.py", line 175, in <module>
    send_rfm_to_gbq()
  File ".\rfm_bigquery.py", line 152, in send_rfm_to_gbq
    if_exists='replace',
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas\core\frame.py", line 1187, in to_gbq
    table_schema=table_schema)
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas\io\gbq.py", line 119, in to_gbq
    table_schema=table_schema)
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas_gbq\gbq.py", line 1036, in to_gbq
    progress_bar=progress_bar,
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas_gbq\gbq.py", line 513, in load_data
    self.process_http_error(ex)
  File "C:\Users\yyu\Desktop\env\rfm_bigquery\lib\site-packages\pandas_gbq\gbq.py", line 376, in process_http_error
    raise GenericGBQException("Reason: {0}".format(ex))
pandas_gbq.gbq.GenericGBQException: Reason: 404 POST https://www.googleapis.com/upload/bigquery/v2/projects/hidden-moon-164616/jobs?uploadType=resumable: Not Found

Answer 1

У меня была та же проблема с последней версией, я вернулся к pandas == 0.23.3 и pandas-gbq == 0.5.0, и это наконец работает ...