SageMaker развернуть пользовательский скрипт

Question

Я довольно новичок в SageMaker, поэтому мне жаль, если я что-то упускаю очевидное.

Я обучил модель DL, которая использует кадры из видео для предсказания. Текущий сценарий, который выполняется в SageMaker jupyter-notebook, принимает URL видео в качестве входных данных и использует канал подпроцесса FFMPEG для извлечения кадров и прогнозирования их впоследствии. Это отлично работает, но теперь я хочу запустить этот скрипт из Lambda.

Насколько я понял, я мог развернуть свою модель с помощью sagemaker и делать прогнозы для каждого отдельного кадра из Lambda, к сожалению, это не вариант , поскольку ffprobe, ffmpeg и numpy слишком велики, чтобы поместиться в ограниченном лямбда-пространстве.

tl; dr: возможно ли запустить мой пользовательский сценарий (извлечение кадра ffmpeg + прогнозирование модели тензорного потока) в качестве конечной точки в SageMaker?

Answer 1

Sagemaker позволяет использовать пользовательское Docker изображение (AWS документ )

Создание собственного пользовательского изображения контейнера: если предварительно не создан Amazon Образ контейнера SageMaker, который вы можете использовать или изменить для расширенного сценария, вы можете упаковать свой собственный скрипт или алгоритм для использования с Amazon SageMaker. Вы можете использовать любой язык программирования или инфраструктуру для разработки вашего контейнера

• Создание docker изображения с вашим кодом (FFmpeg, TensorFlow)
• Локальное тестирование контейнера docker
• Развертывание изображения в Amazon ECR (Elasti c Repository Container)
• Создайте модель SageMaker и укажите на изображение

Подробнее вы можете узнать из этого урока