Расписание загрузки данных из GCS в BigQuery периодически

Question

Я исследовал это и в настоящее время придумываю стратегию с использованием Apache Airflow.Я все еще не уверен, как это сделать.Большинство блогов и ответов, которые я получаю, являются непосредственно кодами, а не материалом, чтобы лучше понять это.Также, пожалуйста, предложите, если есть хороший способ сделать это.

Я также получил ответ, например, используя Background Cloud Function с Cloud Storage trigger.

Answer 1

Большинство блогов и ответов, которые я получаю, являются непосредственно кодами

Apache Airflow поставляется с богатым пользовательским интерфейсом для многих задач, но это не значит, что вы не должны писать кодчтобы выполнить вашу задачу.

В вашем случае вам необходимо использовать BigQuery оператор командной строки для Apache Airflow

Хороший способ узнать, как это сделать, можно найти по этой ссылке

Answer 2

Вы можете использовать BigQuery Облачное хранилище для передачи , но имейте в виду, что оно все еще находится в бета-версии.

Это дает вам возможность планировать переводы из облачного хранилища в BigQuery с определенными ограничениями.