как объединить два файла Word2Vec - PullRequest
0 голосов
/ 24 января 2019

Я создал свою модель, используя Word2Vec.Но результаты не были хорошими.Поэтому я хочу добавить слово.Код, который я создал в первый раз. Создание возможно, но не может быть добавлено.Подскажите пожалуйста как можно добавить.

createModel.py

token = loadCsv("test_data")
embeddingmodel = []
for i in range(len(token)):
temp_embeddingmodel = []
for k in range(len(token[i][0])):
    temp_embeddingmodel.append(token[i][0][k])
embeddingmodel.append(temp_embeddingmodel)

embedding = Word2Vec(embeddingmodel, size=300, window=5, min_count=3, iter=100, sg=1,workers=4, max_vocab_size = 360000000)
embedding.save('post.embedding')

loadWord2Vec.py

tokens = W2V.tokenize(sentence)
embedding = Convert2Vec('Data/post.embedding', tokens)
zero_pad = W2V.Zero_padding(embedding, Batch_size, Maxseq_length, Vector_size)

Подскажите, как добавить или объединить результаты Word2Vec

1 Ответ

0 голосов
/ 24 января 2019

Нет простого способа объединить две Word2Vec модели.

Только векторы слов, которые были обучены вместе, «находятся в одном пространстве» и, следовательно, сравнимы.

Лучшей политикой было бы объединение двух обучающих корпусов текстов и обучение новой модели для объединенных данных, таким образом получая векторы слов для всех слов из одной и той же учебной сессии.

...