Я пытаюсь внедрить решение BI с использованием GCP, в котором у меня есть данные в виде плоских файлов в облачном хранилище данных, и я должен поместить эти данные в свое хранилище данных на BigQuery. Данные будут увеличиваться после первой загрузки.
Кажется, что нет никаких функциональных возможностей ETL, которые я мог бы использовать для реализации этой дополнительной загрузки данных в мое хранилище. Используя Cloud Dataflow, я могу поместить дельта-загрузку в таблицы BigQuery, но этот подход не обрабатывает обновленные записи правильно.
Может ли кто-нибудь предложить здесь, что может быть лучшим подходом для реализации этого решения?