Amazon SageMaker BlazingText

Question

Я работаю над проектом встраивания слов. Я использую Amazon SageMaker для этой цели. Алгоритм BlazingText в Amazon SageMaker дал быстрый результат, чем другие варианты. Но я не вижу возможности получить модель прогнозирования или веса. Вывод состоит только из файла векторов, из которого я не могу сгенерировать модель. Есть ли способ, которым я могу получить модель с векторным файлом? Мне нужно это, чтобы предсказать новые слова. Заранее спасибо.

Answer 1

Модели BlazingText могут генерировать векторы для новых слов, если вы включите изучение вложенных слов, установив для параметра «subwords» значение True во время обучения. После завершения учебного задания вам нужно будет создать конечную точку SageMaker и развернуть модель. Вы можете отправлять POST-запросы к этой конечной точке для извлечения векторов слов, как показано в разделе «Хостинг / вывод» этого блокнота :

bt_endpoint = bt_model.deploy(initial_instance_count = 1,instance_type = 'ml.m4.xlarge')
words = ["awesome", "awweeesome"]
payload = {"instances" : words}
response = bt_endpoint.predict(json.dumps(payload))
vecs = json.loads(response)

Для получения более подробной информации об этой функции, вы также можете обратиться к этому блогу посту.

Answer 2

Я думаю, что вы ищете (если я правильно вас понимаю), как создать конечную точку, чтобы получить векторы для новых слов. посмотрите пример для поиска текста. Внизу внизу показано, как создать такую ​​конечную точку.

Если вы хотите предсказать новые слова, которые не известны модели, используйте подслов .

Answer 3

Вы можете воспроизвести похожие результаты, например, most_s Similar, загрузив файл vector.txt / bin с помощью API-интерфейса KeyedVectors.

Вот пример:

from gensim.models import KeyedVectors
word_vectors = KeyedVectors.load_word2vec_format('vectors.txt', binary=False) 
word_vectors = KeyedVectors.load_word2vec_format('vectors.bin', binary=True)