Я хочу запланировать задание Airflow для загрузки данных в многораздельную таблицу BigQuery.
Насколько я понимаю, я должен использовать:
with DAG('my_daily_processing', schedule_interval='0 3 * * *', catchup=True, max_active_runs=1, default_args=default_args) as dag:
daily_task = BigQueryOperator(
task_id = 'daily_streamed',
bql = 'SQL/folder/my_query.sql',
destination_dataset_table = "project-id.TableName${{(execution_date).strftime('%Y%m%d')}}",
write_disposition = 'WRITE_TRUNCATE',
bigquery_conn_id = CONNECTION_ID,
use_legacy_sql = False
)
Могу ли я вместо этого использовать столбец DateTime в качестве раздел? Как бы я сделал это с Airflow?