Любой пример Airflow FileSensor? - PullRequest
Новая
       16

Любой пример Airflow FileSensor?

0 голосов
/ 20 февраля 2019

Кто может подсказать мне пример использования Airflow FileSensor?Я погуглил и еще ничего не нашел.Любого примера будет достаточно.Мой пример использования довольно прост:

Подождите, пока запланированная группа обеспечения доступности баз данных не удалит файл в пути, задача FileSensor подберет его, прочитает содержимое и обработает его.

1 Ответ

0 голосов
/ 21 февраля 2019

Из документации & исходный код : 

from airflow.contrib.sensors.file_sensor import FileSensor
from airflow.operators.dummy_operator    import DummyOperator

import datetime
import airflow

# https://airflow.apache.org/code.html#airflow.models.BaseOperator
default_args = {
    "depends_on_past" : False,
    "start_date"      : airflow.utils.dates.days_ago( 1 ),
    "retries"         : 1,
    "retry_delay"     : datetime.timedelta( hours= 5 ),
}

with airflow.DAG( "file_sensor_test_v1", default_args= default_args, schedule_interval= "*/5 * * * *", ) as dag:

    start_task  = DummyOperator(  task_id= "start" )
    stop_task   = DummyOperator(  task_id= "stop"  )
    sensor_task = FileSensor( task_id= "my_file_sensor_task", poke_interval= 30, fs_conn_id= <path>, filepath= <file or directory name> )

start_task >> sensor_task >> stop_task
...