Задача блокировки зависимостей воздушного потока от получения расписания - PullRequest
1 голос
/ 18 февраля 2020

У меня есть экземпляр воздушного потока, который без проблем работал в течение 2 месяцев до воскресенья. В системе произошло отключение, от которого зависят мои задачи по воздушному потоку, а некоторые задачи были поставлены в очередь на 2 дня. После этого мы решили, что лучше пометить все задачи на этот день как невыполненные и просто потерять эти данные.

Тем не менее, теперь все новые задачи запускаются в нужное время, но они никогда не устанавливаются на какие-либо состояние (ни в очереди, ни в движении). Я проверяю журналы и вижу следующие выходные данные:

Задача блокировки зависимостей с момента получения по расписанию

Все зависимости выполнены, но экземпляр задачи не запущен. В большинстве случаев это просто означает, что задача, вероятно, будет запланирована в ближайшее время, если:

  • Планировщик не работает или находится под большой нагрузкой
  • Следующие значения конфигурации могут ограничивать количество очереди процессы: параллелизм, dag_concurrency, max_active_dag_runs_per_dag, non_pooled_task_slot_count
  • Этот экземпляр задачи уже запущен и его состояние изменено вручную (например, очищено в пользовательском интерфейсе)

У меня сложилось впечатление, что 3-я топика c - причина, по которой он не работает. Планировщик и веб-сервер работали, однако я перезапустил планировщик, и у меня все еще один и тот же результат. Я также удалил данные из базы данных mysql для одного задания, и оно все еще не запущено.

Я также видел пару постов, в которых говорилось, что он не работает, потому что для depens_on_past было установлено значение true, а если предыдущие запуски были неудачными, следующий никогда не будет выполнен. Я также проверил это, и это не мой случай.

Любой вклад будет действительно оценен. Любые идеи? Спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...