Как я могу развернуть модель, которую я обучил на Amazon Sagemaker на местном уровне? - PullRequest
Новая
       66

Как я могу развернуть модель, которую я обучил на Amazon Sagemaker на местном уровне?

0 голосов
/ 01 июля 2019

Я обучил модель с использованием алгоритма aws blazingtext на amazon sagemaker и смог развернуть конечную точку с помощью sagemaker.Тем не менее, в моих обстоятельствах это не выгодно, и я хотел бы запустить его на месте.Я нашел документацию по этому вопросу запутывающей.

У меня есть обученная модель, сохраненная в виде файла "model.tar.gz", который я скачал из своей корзины s3.Я прочитал в Интернете, что вы можете развертывать модели с использованием тензорных потоков и образов докеров, но я просто хочу развернуть созданную мной модель с помощью Sagemaker на моей локальной машине.По сути, я хочу сделать следующее: 

predictor = sagemaker.deploy(initial_instance_count=1, instance_type='local_cpu')

Я ожидаю, что смогу использовать функцию предсказания для выполнения вызовов вывода и возврата ответов с результатами предсказания.Я ищу, какие библиотеки использовать, и связанный код для выполнения этой задачи.Спасибо.

1 Ответ

1 голос
/ 02 июля 2019

SageMaker BlazingText выпускается в 2 вариантах:

  1. контролируемая версия, которая учится классифицировать последовательности токенов переменной длины и
  2. неконтролируемая версия, которая изучает вложения токенов.

Согласно документации , для обеих версий двоичные файлы, создаваемые моделью, могут использоваться fastText. Из fasttext документации по связыванию Python кажется, что следующая команда будет работать в обеих ситуациях: 

import fasttext

# bin file is found in the model.tar.gz produced by Sagemaker
model = fasttext.load_model('model_filename.bin')

# inference for unsupervised version
model['king']

# inference for supervised version
model.predict('Which baking dish is best to bake a banana bread ?')

Похоже, у Gensim есть возможность читать артефакты fastText , но я обнаружил, что API немного менее понятен, и кажется, что он доступен только для случая без надзора (вложение слов)

...