Переместить всю корзину из облачного хранилища Google в BigQuery?

Question

Из Google Cloud Storage в BigQuery переносится документация, которую я читал, я вижу, как я могу загружать файлы данных по одному.

Есть ли способ добавить целое ведро в BigQuery?

Папки и файлы являются журналами для организации. Мы стремимся создавать визуализации на основе тех, кто их использует. Но сначала нам нужно получить данные корзины в BigQuery ...

Структура ковша выглядит следующим образом:

BucketName -> LogDate (например, 20180623) -> все отдельные журналы

Есть идеи, как мне это сделать?

Answer 1

Вы можете использовать подстановочный знак в процессе загрузки, чтобы достичь того, что вы хотите сделать, как описано в этой ссылке

Соответствующая часть документации такова:

Например, если у вас есть два файла с именами fed-sample000001.csv и fed-sample000002.csv, URI корзины будет gs: // mybucket / fed-sample *. Этот универсальный URI можно затем использовать в консоли, классическом пользовательском интерфейсе, интерфейсе командной строки или API.

Answer 2

Вы можете load эти вложенные журналы итеративно.Например, если ваши журналы имеют формат CSV и содержат три поля:

gsutil ls gs://mybucket/* | grep '.csv' | xargs -I {} bq --location=US load --source_format=CSV mydataset.mytable {} field_a:type_field_a, field_b:type_field_b, field_c:type_field_c

Здесь обратите внимание, как схема указывается в формате inline в формате field_[x]:type_field_[x], где типом может быть любой поддерживаемый тип столбца.по БК.