Развертывание пользовательской предварительно созданной модели в Sagemaker

Question

Я новичок в мире ML. У меня есть docker изображение с необходимыми файлами пользовательских моделей.

Может кто-нибудь объяснить, как развернуть эти модели как веб-сервис?

Я пытался создать конечную точку и лямбда-функцию, но безуспешно.

Ваша помощь будет оценена.

Answer 1

Вот несколько уроков по использованию ваших собственных моделей в SageMaker (вы можете пропустить обучающие разделы, поскольку у вас уже есть обученная модель).

• Создайте свой собственный docker образ для обучение и развертывание с помощью scikit-learn
• Создайте собственный образ docker для обучения и развертывания с помощью R
• Используйте предварительно подготовленный SageMaker Изображение алгоритма KMeans с пользовательскими моделями весов

Общее описание того, что вы будете делать для развертывания в качестве веб-службы:

1. Пакет docker образа это соответствует спецификации, которая позволяет SageMaker взаимодействовать с ним, например: - запуск HTTP-сервера, который может отвечать на /invocations запросов на вывод. Подробная информация об этом доступна здесь .
2. Создайте ресурс SageMaker "Model", указывающий на реестр, содержащий образ docker. Ссылка API здесь . Вы также можете указать дополнительное расположение S3 для «артефактов модели» - это не обязательно, но может помочь, если ваш рабочий процесс разработки отделяет ваш код вывода от весов модели. Эту модель можно использовать для прогнозирования в режиме реального времени с помощью служб хостинга SageMaker или для выполнения пакетного вывода с помощью пакетного преобразования SageMaker.
3. Чтобы развернуть его для вывода в реальном времени, можно создать конфигурация конечной точки , за которой следует конечная точка . Подробную информацию об этом можно найти здесь .
4. С помощью описанных выше шагов у вас должна быть запущенная конечная точка HTTPS, способная возвращать прогнозы для запросов, при условии, что ваши клиенты могут подписывать запросы с помощью SigV4. Если это предназначено для публичного просмотра, вы можете добавить API Gateway в качестве внешнего интерфейса, используя его в качестве прокси для конечной точки SageMaker. Подробности можно найти здесь (используйте «SageMaker Runtime» в шаге 4).