Значение альфа в моделях gensim вложения слов (Word2Vec и FastText)?

Question

Я просто хочу узнать влияние значения альфа в моделях gensim word2vec и fasttext на встраивание слов?Я знаю, что альфа - это initial learning rate, а его значение по умолчанию - 0.075 из блога Radim.

Что если я изменю это значение на чуть более высокое, то есть 0,5 или 0,75?Каков будет его эффект?Разрешено ли менять то же самое?Однако я изменил это значение на 0,5 и поэкспериментировал с данными большого размера с D = 200, window = 15, min_count = 5, iter = 10, worker = 4, и результаты в значительной степени значимы для модели word2vec.Однако, используя модель быстрого текста, результаты разбиты по битам, что означает менее связанные и непредсказуемые оценки высокого и низкого сходства.

Почему этот неточный результат для одних и тех же данных с двумя популярными моделями с разной точностью?Играет ли значение alpha такую ​​важную роль при построении модели?

Любое предложение приветствуется.

Answer 1

Значение по умолчанию alpha равно 0.025 в реализации Word2Vec от gensim.

В алгоритме стохастического градиентного спуска для корректировки модели эффективная alpha влияет на степень коррекции модели после оценки каждого обучающего примера и будет линейно уменьшаться от ее начального значения (alpha) до крошечного конечного значения (min_alpha) в течение всего обучения.

Большинству пользователей не нужно настраивать эти параметры или они могут лишь немного их отрегулировать после того, как у них есть надежный повторяемый способ оценки того, улучшает ли изменение их модель в их конечных задачах.(Я видел начальные значения 0.05 или реже 0.1, но никогда не был выше, чем ваши 0.5.)