RNN LSTM Модель анализа настроений с низкой точностью

Question

У меня есть набор данных с 200000 образцов. Я использую train_test_split от Sklearn.

model = Sequential()
model.add(Embedding(50000,128, input_length=14))
model.add(LSTM(16, return_sequences=True, dropout=0.3, recurrent_dropout=0.2))
model.add(LSTM(16, dropout=0.3, recurrent_dropout=0.2))

model.add(Dense(1, activation='sigmoid'))
model.compile(loss='mean_squared_logarithmic_error', optimizer='Adam', metrics=['accuracy'])

Я получил низкую точность = 0,39.

Могу ли я знать, что я делаю здесь не так?

Answer 1

Попробуйте добавить более полностью связанные слои между LSTM и последним слоем

model = Sequential()
model.add(Embedding(50000,128, input_length=14))
model.add(LSTM(16, return_sequences=True, dropout=0.3, recurrent_dropout=0.2))
model.add(LSTM(16, dropout=0.3, recurrent_dropout=0.2))
####model.add(Dense(10))####
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='mean_squared_logarithmic_error', optimizer='Adam', metrics=['accuracy'])

Answer 2

Низкий относительный. Какую точность вы ожидаете, и каковы ваши базовые модели для сравнения?

Кроме того, почему вы выбрали эти конкретные значения для своих гиперпараметров? Вы пытались найти оптимальные гиперпараметры?