Сохранение обученной модели gensim word2ve c как тензорного потока SavedModel

Question

Есть ли у нас возможность сохранить обученную модель Gensim Word2Ve c как сохраненную модель с использованием tf 2.0 tf.saved_model.save? Другими словами, как я могу сохранить обученный вектор внедрения в качестве сохраненной сигнатуры модели для работы с tenorflow 2.0. Следующие шаги обычно не верны:

model = gensim.models.Word2Vec(...)

model.init_sims(..)

model.train(..)

model.save(..)

module = gensim.models.KeyedVectors.load_word2vec(...)

tf.saved_model.save(
    module, 
    export_dir
)

EDIT:

Этот пример помог мне о том, как это сделать: https://keras.io/examples/nlp/pretrained_word_embeddings/

Answer 1

Gensim не использует TensorFlow и имеет свои собственные методы для загрузки и сохранения моделей.

Вам нужно будет преобразовать вложения Gensim в TensorFlow - модель, которая имеет смысл только в том случае, если вы в дальнейшем планируйте использовать ваши вложения в TensorFlow и, возможно, настроить их для вашей задачи.

Gensim Word2Ve c - это два шага в TensorFlow:

1. Поиск словаря : таблица, которая присваивает индексы токенам.

2. Встраиваемый уровень поиска , который собирает фактические вложения для индексов.

Затем вы можете сохранить его как любую другую модель TensorFlow.