Простые примеры использования ловушки DB Insert_Rows в Airflow - PullRequest
Новая
       4

Простые примеры использования ловушки DB Insert_Rows в Airflow

0 голосов
/ 22 июня 2019

Может ли кто-нибудь помочь мне с простыми примерами использования ловушки DB Insert_Rows в Airflow?У меня есть требование сделать вставку в таблицу.Как мне это сделать и сделать коммит в базу данных.Начиная с воздушного потока, простые примеры помогут лучше понять.

1 Ответ

0 голосов
/ 24 июня 2019

Есть много способов.это зависит от того, какой режим вы предпочитаете.

Исходя из вашего описания, я думаю, что наиболее простым является использование dboperator + SQL.Это требует сильного опыта администратора баз данных + часть опыта воздушного потока.Например: 

process_order_fact = PostgresOperatorWithTemplatedParams(
    task_id='process_order_fact',
    postgres_conn_id='postgres_dwh',
    sql='process_order_fact.sql',
    parameters={"window_start_date": "{{ ds }}", "window_end_date": "{{ tomorrow_ds }}"},
    dag=dag,
    pool='postgres_dwh'

Выше код был скопирован из https://gtoonstra.github.io/etl-with-airflow/etlexample.html

Удачи.

...