Можно ли отправить CSV-файл в список получателей почты после планирования задачи BigQuery с использованием стандартного SQL?

Question

Необходимо запустить запланированное задание в BigQuery, используя инкрементную дату.Так как данные отображаются корректно только за Т-2 дня.Есть ли способ отформатировать дату за 2 дня до и запустить запланированное задание так, чтобы результат экспортировался в формат CSV и отправлялся в список получателей почты?

Я вижу только вариант добавления таблицы илитаблицу создать.Это не очень помогает, так как мне нужно, чтобы результаты были экспортированы в файл CSV и отправлены группе пользователей в Gmail.

_TABLE_SUFFIX = "20190920"

Answer 1

Вы можете использовать composer (Airflow) и запланировать вызов DAG.Внутри DAG вы создадите задание, которое будет вызывать скрипт Python, используя PythonOperator.Этот скрипт извлекает данные из bigquery, а затем выводит данные в одну таблицу назначения.Вы будете читать из этой таблицы и сохранять результаты в формате CSV на GCS.Как только это будет сделано, вы создадите задачу SendMail, которая будет отправлять электронные письма.

Answer 2

Вы можете использовать Cloud Scheduler для планирования действий

, поскольку он поддерживает только запуск:

• Pub / Sub
• HTTP App Engine
• HTTP

Вам нужно написать сценарий для остальной части процесса, но это может быть небольшой фрагмент кода для запуска экспорта CSV и отправки по электронной почте.Вы сделаете это в облачной функции Google, которая может быть задействована по HTTP, или создадите контейнер Cloud Run для запуска вашего приложения в контейнере (хорошо, ваших небольших сценариев).