Как исправить ошибку 'Not found: Files /bigstore/project/testing/filename.json' при загрузке в Bigquery

Question

Я пытаюсь загрузить несколько файлов json (4000) в таблицу в Bigquery, используя следующую команду bq load --source_format=NEWLINE_DELIMITED_JSON --replace=true kx-test.store_requests gs://kx-gam-test/store/requests/*, и получаю следующую ошибку:

Error encountered during job execution:
Not found: Files /bigstore/kx-gam-test/store/requests/7fb27d63-5581-43a1-821d-fcf47b3412fd.json.gz
Failure details:
 - Not found: Files /bigstore/kx-gam-test/store/requests/93b54246-2284-4b85-8620-76657f4a338b.json.gz
 - Not found: Files /bigstore/kx-gam-test/store/requests/fd24a53d-2c49-4f66-bf54-a7ccf14a1cfe.json.gz
 - Not found: Files /bigstore/kx-gam-test/store/requests/35a27032-930c-456a-846d-67481a21e52d.json.gz

Я не уверен, почемуэто не работает, это возможно из-за количества файлов, которые я пытаюсь загрузить?И что это за папка bigstore с префиксом перед моим GCS-контейнером?

Я хотел бы подчеркнуть, что структура папок такова, что внутри kx-gam-test/store/requests есть несколько папок, и я бы хотел загрузить jsonGZIP-файлы во всех этих папках.

Answer 1

Согласно документации :

BigQuery не поддерживает исходные URI, которые включают несколько последовательных слешей после начального двойного слеша.

Также, здесь - это дополнительная информация, которую следует учитывать при загрузке данных в облачное хранилище.

Answer 2

Несколько вещей, которые вы можете проверить:

1. Убедитесь, что у вас есть необходимые разрешения

2. Убедитесь, что файлы существуют в GCS

3. Есть ли у вас процесс, который удаляет файл после загрузки? Проверьте журналы аудита на наличие следов, возможно, файл был удален, когда BQ фактически читает / загружает его.