Как получить данные с помощью таблицы PARTITIONED в BiqQuery - PullRequest
0 голосов
/ 10 января 2020

Я хочу запланировать задание Airflow для загрузки данных в многораздельную таблицу BigQuery.

Насколько я понимаю, я должен использовать:

with DAG('my_daily_processing', schedule_interval='0 3 * * *', catchup=True, max_active_runs=1, default_args=default_args) as dag:

    daily_task = BigQueryOperator(
        task_id = 'daily_streamed',
        bql = 'SQL/folder/my_query.sql',
        destination_dataset_table = "project-id.TableName${{(execution_date).strftime('%Y%m%d')}}",
        write_disposition = 'WRITE_TRUNCATE',
        bigquery_conn_id = CONNECTION_ID,
        use_legacy_sql = False
    ) 

Могу ли я вместо этого использовать столбец DateTime в качестве раздел? Как бы я сделал это с Airflow?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...