Автоматически обнаруживать изменения в GCS для BigQuery

Question

Теперь у меня есть таблица BigQuery, источником данных которой являются данные из GCS (Google Cloud Storage).

GCS постоянно динамичен с добавлением новых файлов. Итак, есть ли у BigQuery какие-либо доступные механизмы для автоматического обнаружения изменений в GCS и синхронизации с последними данными?

Спасибо!

Answer 1

Существует очень крутая бета-функция, которую вы можете использовать для этого.Проверьте BigQuery Cloud Storage Transfer .Вы можете запланировать передачу, выполнить обратную засыпку и многое другое.

Прочтите «ограничения», чтобы увидеть, может ли это работать на вас.