поиск по шаблону в FileSensor airflow - PullRequest
Новая
       5

поиск по шаблону в FileSensor airflow

2 голосов
/ 26 февраля 2020

У меня есть путь к файлу как 

fpath = "/path/abc20200216"

, где дата после ab c постоянно меняется каждый месяц.

Теперь я хочу использовать это в FileSensor 

file_sensor = FileSensor(task_id= "file_sensor_job", poke_interval= 30, filepath = fpath, run_as_user='xyzzy',dag=dag)

как передать ключевое слово подстановки в Операторе.

Или есть ли другая альтернатива для определения файла на удаленном сервере с использованием воздушного потока?

1 Ответ

1 голос
/ 26 февраля 2020

Начиная с этого PR Вы можете передать файловый BLOB-файл в filepath для FileSensor.

Например, например: 

prefix = 'abc'

fileblob = os.path.join(os.path.dirname('/path/'), prefix +'*')

file_sensor = FileSensor(task_id= "file_sensor_job", poke_interval= 30, filepath = fileblob, run_as_user='xyzzy',dag=dag)

Вы также можете посмотреть этот тест кейс из репозитория Airflow

...