Запуск приложения на EC2 - запуск с помощью RESTful API - автоматическое масштабирование

Question

У меня есть автономный сценарий Adobe After Effects. Входные данные сценария: принимает видеофайл и некоторые данные. Выходные данные сценария: несколько видеофайлов

Я хочу развернуть свой сценарий на экземпляре EC2 и достичь следующих целей:

1) Вызвать автономный скрипт для запуска с заданным входом (видеофайл и некоторые данные)

2) Разделить данные на пакеты, чтобы мы могли запустить скрипт параллельно для получения выходных видеофайлов.

3) Поместите выходные видео файлы в S3. Доступ к ним с CDN.

У меня есть вопросы о том, как выполнить шаги 1 и 2.

Для шага 1, нужно ли настроить API для вызова сценария в EC2? Если да, то как мне это сделать? Любые указатели документации будут действительно полезны.

Для шага 1 другой вариант может заключаться в том, чтобы поместить ввод в S3 и найти решение для запуска сценария в EC2 при загрузке новых файлов на S3. Есть ли такое решение?

Для шага 2, есть ли какие-либо решения Map Reduce на AWS, которые могут помочь разделить работу на параллельные задачи?

Спасибо.

Answer 1

Я предложу ваш вариант 2 для шага 1. Вы можете сохранить ваши «входные» файлы данных в корзину S3. Настройте некоторые события / правила CloudWatch для любых действий в этом конкретном c сегменте, таких как выгрузка нового файла. При выполнении этого события CloudWatch должна быть вызвана цель, которая выполнит сценарий для выполнения операции разделения данных и загрузки новых видеофайлов на S3.

Примерно так:

Один из вариантов - написать лямбда-функцию. Однако, прежде чем пойти на это, рассмотрим его ограничения в отношении времени выполнения, выделения памяти, холодных запусков и т. Д. c.

Другой вариант - запустить кластер ECS. Вам придется контейнировать ваш скрипт / приложение для того же.

Другой вариант - запустить команду запуска SSM, которая запустит сценарий для указанного вами экземпляра EC2.