Планировщик воздушного потока зависает при перезапуске во время длительной работы

Question

У меня запущен планировщик воздушного потока с настройкой --run-duration 86400 (24 часа). По истечении этого времени планировщик «умирает» и будет автоматически перезагружен. Это прекрасно работает, если нет продолжительной работы (скажем, 2 часа), которая было начато незадолго до 24 часов. В такой ситуации я получаю один процесс планировщика, работающий над моей долгосрочной задачей, и все остальные как зомби (несуществующие). Другие работы не будут обработаны для продолжительность длительной работы.

Я работаю с LocalExecutor.

Мой вопрос:

• Можно ли сохранять планировщик на неопределенный срок (без --run-duration или –num_runs)?
• Случается ли нечто подобное с исполнителем из сельдерея или даска?

Answer 1

Как я понимаю, при выполнении заданий с LocalExecuter фактическая задача запускается подпроцессом планировщика, поэтому планировщик должен ждать, пока все его задачи не завершатся, прежде чем он сможет перезапуститься. В течение этого времени новые задачи не начнутся.

В CeleryExecuter Celery фактически выполняет задачи, поэтому вам не следует сталкиваться с этой проблемой.