Не уверен, что это правильный сайт обмена стеками для этого.
Обычно у нас есть каталог на каждом сервере в нашем производственном кластере. Несколько разных процессов сбрасывают файлы определенного типа в этот каталог время от времени, когда они получают ввод. Невозможно определить, когда файлы прибывают.
Затем у нас есть процесс Python, который может обработать файл и отправить данные из этого файла в подчиненные системы.
Теперь должен ли я создать задание Cron, которое будет запускаться каждые 10 минут, и запустить процесс Python с каждым файлом в этом каталоге? Это может потенциально вызвать 100 процессов, если на момент вызова задания cron в этом каталоге находится 100 файлов.
Другой альтернативой является создание процесса-демона Python с пулом процессов, который постоянно проверяет каталог для новых входящих файлов и назначает его пулу процессов.
Что лучше всего делать в этой ситуации? Я бы хотел, чтобы эти файлы обрабатывались сразу после их получения. Долго заставлять нижестоящие системы ждать данных - не лучший вариант.