Как «отрицательная выборка» улучшает качество представления слов в word2vec? - PullRequest
0 голосов
/ 25 августа 2018

Отрицательная выборка в ' word2vec ' улучшает скорость обучения, это очевидно!

но почему ' делает представления слов значительно более точными. '?

Я не нашел соответствующего обсуждения или деталей. ты можешь мне помочь?

1 Ответ

0 голосов
/ 25 августа 2018

Трудно описать, что мог иметь в виду автор этого утверждения, без полного контекста того, где оно появилось. Например, векторы слов могут быть оптимизированы для разных задач, и те же параметры, которые делают векторы слов лучше для одной задачи, могут ухудшить их для другой.

Один из популярных способов оценки векторов слов, так как оригинальная статья Google о выпуске статьи и кода представляет собой набор проблем со словом-аналогией. Они дают хороший повторяемый суммарный процент «точности», поэтому автор мог бы иметь в виду, что для определенного учебного корпуса по этой конкретной задаче, с постоянством других вещей, режим отрицательной выборки имел более высокий показатель «точности».

Но это не значит, что всегда лучше, с любым корпусом или для любой другой последующей оценки качества или точности на какой-либо задаче.

Проекты с большими корпусами и особенно большими словарями (более уникальными словами), как правило, предпочитают режим с отрицательной выборкой. Альтернативный режим иерархического софтмакса становится медленнее по мере увеличения словарного запаса, а режим отрицательной выборки - нет.

И, имея большой, разнообразный корпус со множеством едва различимых примеров использования всех интересных слов, это самый важный вклад в действительно хорошие векторы слов.

Таким образом, просто делая большие корпуса управляемыми, в течение ограниченного времени обучения, отрицательная выборка может рассматриваться как косвенная возможность улучшения векторов слов - потому что размер корпуса является таким важным фактором.

...