Как использовать Word2Ve c для задачи классификации в Tensorflow - PullRequest
Новая
       21

Как использовать Word2Ve c для задачи классификации в Tensorflow

0 голосов
/ 22 января 2020

Я пытаюсь предсказать 5 основных черт личности (экстраверсия, невротизм, приятность, добросовестность, открытость) на основе анализа текста, написанного пользователем. Вот мой предварительно обработанный набор данных:

df_processed

А вот моя модель word2ve c: 

model_wv = Word2Vec(df_processed['TEXT'], sg=1, size=300, window=10, min_count=1)

Словарь состоит из 26126 слов. 

features = ['cEXT', 'cNEU', 'cAGR', 'cCON', 'cOPN']
X = df_processed['TEXT']
y = df_processed[features]
X_train, X_test, y_train, y_test = train_test_split(X, y,test_size=0.3,random_state=101)

model = Sequential()
model.add(Embedding(max_features, 100)) 
model.add(LSTM(32, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(5, activation='softmax'))

model.compile(loss='binary_crossentropy',
          optimizer='adam',
          metrics=['accuracy'])
model.fit(X_train, y_train, batch_size=batch_size,epochs=epochs, validation_data=(X_test, y_test))

Мой вопрос: как я могу использовать векторы word2ve c в модели тензорного потока?

Должен ли я заменить каждое слово в каждой строке в "X" на вектор из модели word2ve c? Я думаю, что это будет довольно дорого для расчета, но какова будет другая возможность?

Извините, если мои вопросы звучат глупо, я просто новичок в НЛП и тензорном потоке.

...