Можем ли мы реализовать данные в запросах, запущенных через Google BigQuery?

Question

Может ли кто-нибудь помочь мне дать несколько советов о том, как мы реализуем Lineage Data в решении типа DW, построенном на Google BigQuery, используя хранилище Google Cloud в качестве источника и Google Cloud Composer в качестве менеджера рабочего процесса для реализации серии SQL?

Answer 1

Если у вас есть данные в облачном хранилище, вы, возможно, захотите использовать что-то вроде GoogleCloudStorageToBigQueryOperator для первой загрузки ваших данных в Bigquery, а затем используйте BigQueryOperator для выполнения ваших запросов.

Тогда вы сможете увидеть, как работают различные группы обеспечения доступности баз данных, задачи и т. Д. В веб-интерфейсе Airflow внутри Composer.