эффект увеличения рабочего потока в gensim word2vec - PullRequest
0 голосов
/ 10 октября 2018

Я пытаюсь обучить модель gensim sgns, и в процессе я измеряю потери, во время которых я вычисляю, как

loss = model.running_training_loss / model.corpus_count, 

, однако, я заметил, что если я изменяю свой рабочий поток, я получаюразличные потери, сохраняя все остальные параметры одинаковыми.Особенно, если я сохраняю свой рабочий поток равным 1, я получаю действительно большие потери, а если я увеличиваю потоки, я получаю меньше потерь.Экземпляр

thread  loss
worker=1  20.40519721
worker=10   2.714875407
worker=16  1.239528453

1 Ответ

0 голосов
/ 10 октября 2018

До версии gensim 3.5.0 сообщаемое значение потери может быть не очень ощутимым, сбрасывая только подсчет каждого вызова train (), а не каждой внутренней эпохи.В этом выпуске есть исправления:

https://github.com/RaRe-Technologies/gensim/pull/2135

Какую версию gensim вы используете, и что ваш код делает для сбора данных о потерях?

...