Как создать внешнюю таблицу для облачного хранилища Google и запросить данные с внешним разделением?

Question

Я пытаюсь запросить данные с внешним разделением, используя ссылку этого BigQuery do c

Облачное хранилище Google: (данные CSV содержат строковое значение только)

gs://project/myfolder/count=1000/file_1k.csv
gs://project/myfolder/count=10000/file_10k.csv
gs://project/myfolder/count=100000/file_100k.csv

Префикс исходного URI: gs: // project / myfolder

Но я получаю следующую ошибку при запросе таблицы,

Error while reading table: project.dataset.partition_table, 
error message: Cannot query hive partitioned data for table project.dataset.partition_table without any associated files.

Запрос:

SELECT * FROM `project.dataset.partition_table` where count=1000 order by rand() LIMIT 100;

См. Снимок экрана,

Любые входные данные здесь действительно приветствуются.

Answer 1

Проблема в том, что движок не может найти файлы, связанные с разделами. В вашем случае это потому, что когда вы создали таблицу, вы ссылались на папку в GCS, но не на ее файлы.

Чтобы решить вашу проблему, вы должны использовать подстановочный знак, и ваш путь будет gs://project/myfolder/* вместо gs://project/myfolder

Надеюсь, это поможет