Ошибка Bigquery: 8822097

Question

При попытке загрузить файл json в bigquery. Я получаю следующую ошибку: «Произошла внутренняя ошибка, и запрос не был выполнен. Ошибка: 8822097». Это ошибка, связанная с нарушением суточного предела загрузки BigQuery? Будет удивительно, если кто-нибудь укажет мне на глоссарий ошибок.

{Location: ""; Message: "An internal error occurred and the request could not be completed. Error: 8822097"; Reason: "internalError"

Спасибо!

Answer 1

Эта ошибка может возникать из-за максимального количества столбцов в таблице - 10 000 BigQuery limit .

Чтобы убедиться в этом, вы можете проверить количество отдельных столбцов в используемой таблице:

bq --format = json show project: dataset.table | JQ. | grep "тип" | grep -v "ЗАПИСЬ" | wc -l

Сокращение числа столбцов, вероятно, будет лучшим и быстрым способом решения этой проблемы.

Answer 2

Вы пытаетесь загрузить файлы разных типов в одной команде?

Это может произойти при попытке загрузить из пути Google Storage как сжатые, так и несжатые файлы:

$ gsutil ls gs://bucket/path/
gs://bucket/path/a.txt
gs://bucket/path/b.txt.gz

$ bq load --autodetect --noreplace --source_format=NEWLINE_DELIMITED_JSON "project-id:dataset_name.table_name" gs://bucket/path/*
Waiting on bqjob_id_1 ... (0s) Current status: DONE   
BigQuery error in load operation: Error processing job 'project-id:bqjob_id_1': An internal error occurred and the request could not be completed. Error: 8822097