Возможные причины прерывания обратной связи воздушного потока после некоторых прогонов DAG - PullRequest
Новая
       8

Возможные причины прерывания обратной связи воздушного потока после некоторых прогонов DAG

0 голосов
/ 06 июня 2019

Я добавил задачу в одну из своих групп обеспечения доступности баз данных и пытался airflow backfill выполнить задачу в те дни, когда она еще не существовала. Я дал своей команде аргумент --task_regex, аргумент --start_date и аргумент --end_date. Казалось, что все работало хорошо, но Airflow зависал с этой ошибкой после засыпки для некоторых прогонов DAG: 

[2019-06-06 12:13:25,378] {jobs.py:2521} INFO - Task exited with return code 0
Traceback (most recent call last):
  File "/usr/local/bin/airflow", line 27, in <module>
    args.func(args)
  File "/usr/local/lib/python3.5/dist-packages/airflow/bin/cli.py", line 185, in backfill
    delay_on_limit_secs=args.delay_on_limit)
  File "/usr/local/lib/python3.5/dist-packages/airflow/models.py", line 3724, in run
    job.run()
  File "/usr/local/lib/python3.5/dist-packages/airflow/jobs.py", line 198, in run
    self._execute()
  File "/usr/local/lib/python3.5/dist-packages/airflow/jobs.py", line 2441, in _execute
    raise AirflowException(err)
airflow.exceptions.AirflowException: ---------------------------------------------------
Some task instances failed:
%s

Кто-нибудь знает, что могло случиться? Должен ли я запустить эту засыпку в фоновом режиме? (Воздушный поток 1,9)

1 Ответ

0 голосов
/ 28 июня 2019

Это похоже на то, что описано в этом выпуске https://issues.apache.org/jira/browse/AIRFLOW-1482?attachmentSortBy=dateTime когда они используют исполнителя сельдерея.

Подобные проблемы возникали при использовании localexecution, при котором задняя засыпка прекращалась в случае сбоя запланированных заданий обратной засыпки. Также был запущен воздушный поток 1.9.

...