Как развернуть модель ML, обученную на SageMaker, на локальном компьютере для запуска предикторов?

Question

Я просматривал различные посты о локальном развертывании моделей SageMaker, но они должны быть привязаны к экземплярам AWS ноутбука, чтобы запускать прогнозирование / обслуживание локально (AWS SageMaker Python SDK). Это побеждает реальное намерение полностью запустить обученную модель Sagemaker. Также есть некоторые другие, которые пытались открепить файл tar.gz на S3, а затем обернуть содержимое для локального развертывания. Однако процесс, по-видимому, очень ограничен определенными типами моделей, такими как XGBoost и M Xnet. Следовательно, есть ли способ развернуть обученную модель SageMaker в автономном режиме без зависимости от экземпляра ноутбука Sagemaker? Любая форма совета будет оценена. Спасибо.

Answer 1

Я развернул модели PyTorch локально через Amazon SageMaker Local Mode . Я считаю, что тот же процесс работает для других сред ML, которые имеют официальные контейнеры SageMaker. Вы можете запускать те же контейнеры Docker локально, которые использует SageMaker при развертывании вашей модели в инфраструктуре AWS.

Документы для локального развертывания конечной точки Sagemaker для вывода немного разбросаны. Резюме:

1. Используйте локальные версии клиентов API: обычно вы используете классы botocore.client.SageMaker и botocore.client.SageMakerRuntime для использования SageMaker из Python. Для локального использования SageMaker используйте sagemaker.local.LocalSagemakerClient() и sagemaker.local.LocalSagemakerRuntimeClient().
2. Вы можете использовать локальный tar.gz файл модели, если вы sh.
3. Установите для instance_type значение local при развертывании модели.

Я написал Как настроить локальную AWS среду SageMaker для PyTorch , которая подробно описывает, как это работает.

Answer 2

После обучения модели с помощью Amazon SageMaker у вас будет запись Модель. Модель будет указывать на модельный артефакт в S3. Этот файл tag.gz имеет вес модели. Формат файла зависит от фреймворка (tenorflow / pytorch / mxnet / ...), который вы использовали для обучения модели. Если вы использовали встроенные алгоритмы SageMaker, большинство из них реализованы с помощью M XNet или XGBoost, так что вы можете использовать соответствующее программное обеспечение для запуска модели.
Если вам нужно обслуживающее программное обеспечение, вы можете запустите контейнеры глубокого изучения SageMaker в режиме вывода на локальном сервере вывода. Или используйте программное обеспечение с открытым исходным кодом, такое как TFServing, или загрузите модель в память.