Проблема кодирования при обучении моей собственной модели перчатки

Question

Я тренирую модель GloVe с собственным корпусом, и у меня возникают проблемы с ее сохранением / загрузкой в ​​формате utf-8.

Вот что я попробовал:

from glove import Corpus, Glove

#data
lines = [['woman', 'umbrella', 'silhouetted'], ['person', 'black', 'umbrella']]

#GloVe training
corpus = Corpus() 
corpus.fit(lines, window=4)
glove = Glove(no_components=4, learning_rate=0.1)
glove.fit(corpus.matrix, epochs=10, no_threads=8, verbose=True)
glove.add_dictionary(corpus.dictionary)
glove.save('glove.model.txt')

Сохраненный файл glove.model.txt не читается, и мне не удается сохранить его с кодировкой utf-8.

Когда я пытаюсь прочитать его, например, преобразовав его в формат Word2Vec:

from gensim.models.keyedvectors import KeyedVectors
from gensim.scripts.glove2word2vec import glove2word2vec
glove2word2vec(glove_input_file="glove.model.txt", 
word2vec_output_file="gensim_glove_vectors.txt")    

model = KeyedVectors.load_word2vec_format("gensim_glove_vectors.txt", binary=False)

У меня следующая ошибка:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

Есть идеи, как я могу использовать свою собственную модель GloVe?

Answer 1

Я только что нашел способ сохранить данные в формате utf-8, я делюсь им здесь на случай, если кто-то столкнется с той же проблемой

Вместо использования метода сохранения перчаток glove.save('glove.model.txt') попробуйтесмоделировать самостоятельно запись перчатки:

with open("results_glove.txt", "w") as f:
    for word in glove.dictionary:
        f.write(word)
        f.write(" ")
        for i in range(0, vector_size):
            f.write(str(glove.word_vectors[glove.dictionary[word]][i]))
            f.write(" ")
        f.write("\n")

Тогда вы сможете прочитать ее.