Как я могу получить результат запроса из BigQuery в потоке воздуха, и включить его в авто-отправку мне по электронной почте - PullRequest
Новая
       34

Как я могу получить результат запроса из BigQuery в потоке воздуха, и включить его в авто-отправку мне по электронной почте

0 голосов
/ 17 октября 2018

Я хочу использовать динамическое время {{ macros.ds_add(ds, 0) }}, поэтому pandas_gbq.read_gbq не работает.

Я также использовал get_pandas_df из BigQueryHook, он показал 'BigQueryPandasConnector' объект не имеет атрибута 'http_error', в документе говорится, что мне нужно переопределить метод DbApiHook, но я не знаю, как.

И есть ли решение для этой проблемы?Спасибо за вашу помощь, ребята.

1 Ответ

0 голосов
/ 17 октября 2018

Используйте BigQueryGetDataOperator.Ниже приведен пример:

Пример : :: 

    get_data = BigQueryGetDataOperator(
        task_id='get_data_from_bq',
        dataset_id='test_dataset',
        table_id='Transaction_partitions',
        max_results='100',
        selected_fields='DATE',
        bigquery_conn_id='airflow-service-account'
    )

Официальная документация: https://airflow.readthedocs.io/en/stable/integration.html#bigquerygetdataoperator

...