Рассчитать недоумение модели word2vec

Question

Я обучил модель Gensim W2V на 500 тыс. Предложений (около 60 тыс.) Слов и хочу вычислить недоумение.

1. Каков наилучший способ сделать это?
2. для60 тысяч слов, как я могу проверить, какой будет правильный объем данных?

Спасибо

Answer 1

Если вы хотите рассчитать недоумение, вы должны сначала восстановить потери.В конструкторе gensim.models.word2vec.Word2Vec передайте параметр compute_loss=True - таким образом, gensim сохранит потери для вас во время тренировки.После обучения вы можете вызвать метод get_latest_training_loss(), чтобы получить потерю.

С момента потери в кросс-энтропийной потере модели скип-граммы 2 до степенипотеря даст вам предубеждение.(2 ** потеря)