Проблема с точностью и потерей в глубоком обучении

Question

Я занимаюсь самообучением, учусь использовать глубокое обучение для классификации текста. Я использую модель Bi-LSTM и пытался изменить параметры с 10 эпохами для сравнения результатов.

Набор данных содержит приблизительно 35 тыс. Строк, всего более 1200 тыс. Токенизированных слов. Набор данных помечен двумя классами. После настройки параметров я выполнил многоуровневую перекрестную проверку в 10 раз, 8 сценариев ios дали нормальные результаты, но эти два сценария ios произошли.

- Первый результат: похоже на модель не мог улучшить точность. Что может быть причиной проблемы?

- второй результат: это может быть хуже, чем первый, в данном случае это имеет какое-то отношение к обновление весов сети?

Поправьте меня, если я беспокоюсь. Я совершенно новичок в технике глубокого обучения и не знаком с некоторыми техническими терминами, поэтому извините, если я использовал неправильные слова Заранее спасибо.

Answer 1

Хорошо, у вас достаточно данных для обучения модели, поэтому я думаю, что структура модели может привести к чему-то подобному, попробуйте структуру модели, показанную ниже, и скажите, работает ли она:

input = Input layer 
model = Embedding layer
model =  Bidirectional layer
model = TimeDistributed
model = Flatten
model = Dense(100,activation='relu')(model)
output = Dense(3,activation='softmax')(model)
model = Model(input,output)

, а затем попробуйте чтобы скомпилировать модель с использованием оптимизатора Adam, и на выходе использовать активацию softmax, которая, как я догадываюсь, будет иметь некоторое влияние c, если не использовалось до