У нас есть длительное (3 часа) учебное задание на модели, которое выполняется каждые 3 дня, и меньшие конвейеры прогнозирования, которые выполняются ежедневно.
В обоих случаях мы используем плагин Jenkins + EC2 для раскрутки больших экземпляров (рабочих) и запуска на них конвейеров. Это служит 2 целям:
- Держите трубопроводы изолированными. Таким образом, каждый конвейер имеет все ресурсы одного экземпляра.
- Мы экономим расходы. Большой экземпляр запускается всего несколько часов, а не 24/7
С плагином Jenkins + EC2 я не несу ответственности за копирование кода на работника и возвращение результатов выполнения. Дженкинс делает это под капотом.
Есть ли в любом случае, чтобы достичь того же поведения с воздушным потоком?