Использование предварительно обученной модели Word2Vec для анализа настроений

Question

Я использую предварительно подготовленную модель Word2Vec для твитов, чтобы создавать векторы для каждого слова.https://www.fredericgodin.com/software/. Затем я вычислю среднее значение и использую классификатор для определения настроения.

Мои данные об обучении очень велики, и предварительно обученная модель Word2Vec была обучена на миллионах твитов с размерностью = 400. Моя проблема в том, что требуется слишком много времени, чтобы задать векторы для слов в моих данных обучения.Есть ли способ сократить время, затрачиваемое на создание векторов слов?

Ура.

Answer 1

Непонятно, что вы подразумеваете под «слишком долго».

Поиск отдельных векторов слов из уже существующей модели должен быть очень быстрым: это простой поиск в памяти слова по индексу массива (из dict), а затем доступ к этому массиву.index.

Если для вас это медленно, возможно, вы загрузили модель, размер которой превышает объем доступной оперативной памяти?В этом случае операция может основываться на более медленной виртуальной памяти (подкачка рабочей памяти на более медленный диск и с него).С такими типами моделей, где доступ очень случайно в разных местах, вы никогда не захотите это делать.Если это происходит, вы должны получить больше оперативной памяти или использовать меньшую модель.