У меня есть несколько пакетных заданий, которые я планирую запустить на EMR. Я планирую создать основанную на метаданных серверную систему (назовем ее EMR_MANAGER), которая запустит новый кластер EMR по запросу и завершит его через 50 минут в режиме ожидания.
Сценарий: приложение 1 запрашивает кластер EMR. EMR_MANAGER создаст новый кластер EMR, а идентификатор кластера будет предоставлен App1 для использования. Как только приложение завершит обработку, оно отправит сигнал EMR_MANAGER. EMR_MANAGER не завершит кластер в течение 50 минут. Любое другое приложение, запрашивающее кластер EMR, будет предоставлено с этим кластером. EMR_MANAGER прекратит работу любого активного незанятого кластера с 50-минутным порогом.
Вопрос. Доступна ли для этого какая-либо система? Я хотел бы убедиться, что я не изобретаю велосипед. Спасибо!