как пропустить вызовы API внутри DAG при запуске воздушного потока - PullRequest
Новая
       102

как пропустить вызовы API внутри DAG при запуске воздушного потока

0 голосов
/ 29 января 2020

У меня есть даг, который делает api callback-функции внутри задач. Что-то вроде 

events_sensor = DataCloudEtlManifestFileSensor(
         task_id=feed_name,
         feed_id=rdi.get_feed_by_name_search(feed_name),
         timeout=120,
         dag=resource_feed,
     )

В то время как feed_id=rdi.get_feed_by_name_search(feed_name) является вызовом API.

Этот вызов API занимает много времени, следовательно, замедляет запуск воздушного потока.

Как я могу пропустить вызов API во время запуска и на самом деле сделать вызов только при выполнении dag?

...