Sagemaker экспортирует и загружает модель в память

Question

Я создал модель с помощью sagemaker (на ноутбуке aws ml).Затем я экспортировал эту модель в s3, и там был создан файл .tar.gz.

Я пытаюсь найти способ загрузить объект модели в память в моем коде (без использования образов док-станции AWS и развертывания) и запуститьпрогноз на это.

Я искал функции для этого в разделе модели sagemaker docs , но все там тесно связано с образами док-станции AWS.

Затем я попытался открыть файл с пакетами tarfile и shutil, но это было бесполезно.

Есть идеи?

Answer 1

За исключением XGBoost, встроенные алгоритмы реализованы в Apache MXNet, поэтому просто извлеките модель из файла .tar.gz и загрузите ее с MXNet: load_checkpoint () - это используемый API.

Модели XGBoost - это просто маринованные объекты.Распакуйте и загрузите в sklearn:

$ python3
>>> import sklearn, pickle
>>> model = pickle.load(open("xgboost-model", "rb"))
>>> type(model)
<class 'xgboost.core.Booster'>

Модели, обученные со встроенной библиотекой (Tensorflow, MXNet, Pytorch и т. Д.), Представляют собой ванильные модели, которые можно загрузить как есть с правильной библиотекой.

Надеюсь, это поможет.