Gensim Doc2Vec сохраняет модельное состояние и возобновляет обучение - PullRequest
Новая
       39

Gensim Doc2Vec сохраняет модельное состояние и возобновляет обучение

0 голосов
/ 02 октября 2018

Я тренирую gensim Doc2Vec, используя довольно большой корпус, и требуется 20-22 часа, чтобы повторить 20 раз с 5 эпочами на итерации по корпусу.Я искал в Интернете, но не смог найти способ сохранить модель, скажем, в 3-й итерации, а затем возобновить с той же итерации.

Вот часть кода, который выполняет обучение: 

#corpus is lazily initialized list of training lines
d2v = doc2vec.Doc2Vec(min_count=15,
                      window=10,
                      vector_size=300,
                      workers=15,
                      alpha=0.025,
                      min_alpha=0.00025,
                      dm=1)

d2v.build_vocab(corpus)

for epoch in range(20):
    d2v.train(corpus, total_examples=d2v.corpus_count, epochs=d2v.iter)
    d2v.alpha -= 0.0002
    d2v.min_alpha = d2v.alpha

Если кому-то интересно, я могу предоставить остальное

...