Почему увеличение возможностей приводит к ухудшению производительности нейронной сети? - PullRequest
Новая
       4

Почему увеличение возможностей приводит к ухудшению производительности нейронной сети?

0 голосов
/ 01 мая 2018

У меня проблема с регрессией, и я настроил многослойную нейронную сеть с помощью Keras. Исходный набор данных имел 286 признаков, и, используя 20 эпох, NN приблизился к потере MSE ~ 0,0009. Это использует оптимизатор Адама.

Затем я добавил еще три функции и, используя ту же конфигурацию, NN не будет сходиться. После 1 эпохи он застревает с потерей 0,003, что значительно хуже.

После проверки правильности представления новых функций я безуспешно попробовал следующее:

  • настройка количества слоев
  • корректировка количества нейронов в каждом слое
  • включая выпадающие слои
  • корректировка скорости обучения

Вот моя оригинальная конфигурация: 

model = Sequential()
model.add(Dense(300, activation='relu', 
input_dim=training_set.shape[1]))
model.add(Dense(100, activation='relu'))
model.add(Dense(100, activation='relu'))
model.add(Dense(1, activation='linear'))
model.compile(optimizer='Adam',loss='mse')

У кого-нибудь есть идеи?

...