Таблица BigQuery из Google Cloud Storage

Question

Я создал таблицу BigQuery из Google Cloud Storage.Я использую опцию: gs: //my_bucket/*.csv

Google Cloud Storage URIs begin with "gs://" and specify the bucket and object you want to load.

Example: gs://mybucket/path/to/mydata.csv

You can use a wildcard to load multiple files, for example gs://mybucket/path/to/my*

My Bucket содержит несколько файлов CSV.

Каждый раз, когда я добавляю новый файл CSV, это не обнаруживаетсятаблица, то есть, если у меня есть в GCS:

• file1.csv

• file2.csv

В тот момент, когда я создал таблицу, она всегда будет читать только эти 2 файла.Когда я добавляю file3.csv и т. Д., Он никогда не обновляет таблицу.

Answer 1

Когда вы загружаете данные из группы, эти данные загружаются на основе (соответствующих) объектов в этой области во время загрузки.

Новые добавленные объекты не загружаются автоматически.

Если вы хотите сделать это, у вас есть несколько опций:

• Полагайтесь на внешние таблицы для непосредственного запроса данных в корзине: https://cloud.google.com/bigquery/external-data-sources
• используйте функции облакатриггер в корзине для создания задания загрузки - https://cloud.google.com/functions/docs/concepts/events-triggers#triggers
• Использование Cloud Dataflow и GCSIO для чтения файлов и создания заданий загрузки: https://beam.apache.org/documentation/sdks/pydoc/2.0.0/_modules/apache_beam/io/gcp/gcsio.html - Cloud Composer можно использовать для настройки задания cronвокруг этого.