как передать векторы слова в LSTM?

Question

Я работаю над анализом настроений с помощью LSTM, У меня есть набор данных в формате CSV с ['Sentiment', 'Tweet']. Модель Wor2vec обучена на этом наборе данных, но теперь я не знаю, как передать это как ввод в lstm. Я пытался заменить слова в CSV-файле векторами, но я не смог этого сделать. Есть ли какой-нибудь метод поиска, который нужно использовать при создании lstm или мы должны заменить слова в CSV-файле векторами, но как это сделать?

(я сохранил свою обученную модель word2vec)

Answer 1

Какую библиотеку вы используете? В любом случае, да, вам придется сопоставлять каждую единицу ввода (каждую точку данных) с идентификаторами слов. Например, если ниже приведен один твит, который вы хотите передать своей модели:

лиса перепрыгивает через коричневого пса

это будет преобразовано через словарь во вход, состоящий полностью из идентификаторов слов (с некоторыми дополнениями, основанными на том, как спроектирован ваш LSTM)

23 69 10 4 254 145

эти числа могут быть сохранены в массиве, например, перед тем, как передать их в сеть и дать настроение (скажем, 0,54) в качестве ожидаемого результата.