Какой механизм планирования рекомендуется для больших и распределенных задач, написанных на python?Можно использовать что-то вроде воздушного потока или даже удара сельдерея, когда у вас <1000 периодических заданий.Но как насчет> 100 000 периодических задач, которые динамически создаются, например, непрерывно через API.
Вариант использования:
Например, представьте себе аналитическую платформу, которая периодически сканирует миллионы веб-сайтов каждый час.Поэтому вам необходимо иметь возможность динамически добавлять новый URL для сканирования (новая периодическая задача) и распределять обработку наиболее оптимальным образом среди всех ваших работников.
Спасибо!