Ищет предложение о том, как сделать так, чтобы шаги подпружиненной партии выполнялись через очередь, чтобы они стали асинхронными.Процесс, который я хочу реализовать, состоит в том, чтобы шаг задания был сериализован и помещен в очередь (например, RabbitMQ), затем Executor забрал сообщение из очереди, выполнил шаг и поместил завершенный шаг вочередь, которую должен забрать исполнитель для следующего шага
Причины, по которым я хочу это сделать:
- Это позволило бы мне планировать выполнение на нескольких машинах
- Разрешить управление максимальным количеством одновременных заданий для выполнения
- разные задания могут быть поставлены в очередь в разных очередях, поэтому контроль производительности
- добавляет некоторую упругость в процесс, поскольку сообщения могут находиться вочередь на довольно продолжительное время.
- имеет возможность добавлять вычислительные ресурсы при необходимости, добавляя дополнительные читатели из очередей
Любые предложения с благодарностью