Точность моих нейронных сетей снижается после применения алгоритма word2vec.
У меня ограниченный набор данных, состоящий из 728017 слов.Когда я применил модель BoW, которая является довольно простой, но очень дорогой, сеть показала точность около 60%.У меня есть 5 классов для классификации и с методом передискретизации, они одинаково велики.Я хотел еще больше повысить свою точность, реализовав алгоритм word2vec.У меня есть сеть LSTM и базовый FNN.Точность сети LSTM снизилась с 65% до 40%, а FNN - с 60% до примерно 20%.Теперь я не могу объяснить, почему это происходит.Единственное возможное решение для меня, кажется, что мой набор данных слишком мал, и нет смысла применять алгоритм w2v в моем случае.Я не думаю, что проблема в моей модели word2vec, потому что у меня есть предварительно обученная модель, которая была обучена с помощью статей в Википедии, а также модель, которую я обучил по своим собственным данным.Оба показывают одинаковые результаты.Возможно, вы сталкивались с этой проблемой, литература для этого конкретного случая отсутствует, поэтому я решил поделиться ею здесь, в Сообществе.
С наилучшими пожеланиями, Крис.