На моем локальном сервере у меня есть скрипт bash, который устанавливает некоторые переменные среды, открывает контейнер Docker и выполняет команду в контейнере, которая запускает основную интересующую программу через образ Docker. Сценарий bash фактически выполняет циклическое выполнение этой основной команды, чтобы запустить одно задание для каждого (другого) входного файла на требуемом количестве процессоров на локальном сервере. Другими словами, общий прогон смущающе параллелен.
Как я могу настроить рабочий процесс с SQS, Lamba, Cloudwatch для достижения sh чего-то похожего на ускорение необходимых экземпляров EC2 (я бы установил c номер)? Я получаю, что каждая команда bash в l oop будет действовать как сообщение, которое отправляется в SQS, а затем каким-то образом будет запускать экземпляр EC2, но мне нужна помощь в построении всего рабочего процесса.
Спасибо!