Как запланировать запрос (Экспорт данных) из Google Big Query во внешнее хранилище (например, Box)

Question

Я прочитал много статей и решений, касающихся планирования запросов к внешним хранилищам в Google Big Query, но, похоже, они не совсем ясны.

Примечание. Моя компания имеет подписку только на Google Big Query, а не на все облачные сервисы (Google Cloud Platform).

Я знаю, как сделать это вручную, но я хочу автоматизировать процесс, так как мне нужны одни и те же данные каждую неделю.

Любые предложения будут оценены. Спасибо.

Answer 1

Вариант 1

Вы можете использовать Apache Airflow , который предоставляет возможность создания задачи расписания для BigQuery с помощью оператора BigQuery.

Вы можете найти в этой ссылке основные шаги, необходимые для начала настройки

вариант 2

Вы можете использовать командную строку Google BigQuery , чтобы экспортировать данные, как вы это делаете из веб-интерфейса, например:

bq --location=[LOCATION] extract --destination_format [FORMAT] --compression [COMPRESSION_TYPE] --field_delimiter [DELIMITER] --print_header [BOOLEAN] [PROJECT_ID]:[DATASET].[TABLE] gs://[BUCKET]/[FILENAME]

После того, как вы получите эту работу, вы можете использовать любой график по своему вкусу, чтобы запланировать выполнение этой работы

Кстати: Airflow имеет разъем, который позволяет запускать инструмент командной строки

После того, как файл в GCP вы можете использовать Box G Suite интеграции , чтобы просматривать и управлять файлами