У меня есть определенная задача обработки, которую я хочу решить с помощью kubernetes.Основная концепция заключается в том, что в рабочей очереди есть определенное количество элементов, которые я хочу обработать.Элементы могут быть добавлены в очередь и удалены, как только модуль завершит обработку.Предпочтительным рабочим процессом будет:
- Определение максимального количества блоков (например, 40)
- отправка элементов в очередь (например, 20)
- число созданных пакетовв соответствии с количеством элементов в очереди (=> 20)
- , пока модули еще обрабатывают 20 элементов, еще 40 элементов помещаются в очередь, что приводит к созданию еще 20 модулей (максимальное количество достигнуто)и, как только первые завершатся, будут созданы дополнительные модули, пока не будет достигнут конец очереди.
Существует ли какая-либо сборка в решении с использованием kubectl?Используя шаблон работы, я могу определить количество параллельных модулей, но они работают все время до успеха и не масштабируются по другим критериям.
Спасибо за вашу помощь!