Как настроить word2vec, чтобы не использовать отрицательную выборку?

Question

Я хочу сравнить вложения слов, обученные с отрицательной выборкой и без нее. Я использовал инструмент Google Word2vec. Я устанавливаю параметры отрицательные = -1. Я предполагаю, что это означает, что мы не используем отрицательную выборку. Но, кажется, использование отрицательного = 25 медленнее, чем отрицательного = -1, что заставляет меня задуматься, действительно ли отрицательный = -1 означает отсутствие использования отрицательной выборки?

Кто-нибудь, кто знаком с реализацией word2vec c, может мне помочь? Как я могу обучить модель без отрицательной выборки с помощью инструмента word2vec?

Answer 1

negative=0 означает отсутствие отрицательной выборки как в исходном инструменте word2vec.c, так и в некоторых вещах, смоделированных после него (например, Python gensim).

Если не использовать отрицательную выборку, вам нужно будет включить иерархический софтмакс, альтернативный метод генерации обратно распространяющихся ошибок предсказания. Включено hs=1.

Обратите внимание, что отрицательная выборка является обычным значением по умолчанию и часто предпочтительнее для больших наборов данных / больших словарей, так как ее производительность обучения не замедляется при большом словарном запасе.