Как мне лучше всего оптимизировать мои параметры, выбор активации, оптимизатор и т. Д. в LSTM? - PullRequest
Новая
       3

Как мне лучше всего оптимизировать мои параметры, выбор активации, оптимизатор и т. Д. в LSTM?

0 голосов
/ 17 марта 2020

Я тренирую нейронную сеть LSTM, чтобы предсказывать волатильность (временные ряды) в Керасе. На данный момент моя сеть определена следующим образом: 

model = Sequential()
model.add(LSTM(10, input_shape=(1,1), kernel_regularizer = l2(0.0001)))
model.add(Dense(1, activation = 'relu'))
model.compile(loss='mean_squared_error', optimizer='adam')
model.fit(X_train, y_train, validation_split=0.2, epochs=100, batch_size=16)

Здесь у меня есть много параметров, которые я могу перекрестно проверить:

  • единиц в LSTM?
  • Больше слоев?
  • регуляризатор (L1 или l2 и количество)?
  • Функция активации?
  • Оптимизатор?
  • Размер партии?

Однако CV по всем этим параметрам приведет к огромному вычислительному времени, так как мне определить правильные спецификации для всех из них?

1 Ответ

1 голос
/ 17 марта 2020

Насколько я знаю, поиск по сетке может быть лучшим подходом. Тем не менее, вы можете уменьшить свое пространство поиска, изучив ваши данные. Если у вас мало данных, попробуйте go для меньшей модели, не слишком большой go (иначе она будет слишком большой). Это может немного уменьшить ваше пространство поиска. Некоторые говорят, что меньше слоя, но больше единицы хорошо работает для данных с низким ресурсом, но все же, это не гарантируется.

Регуляризатор может иногда быть хорошим или плохим, это зависит от задачи. Вы никогда не узнаете, является ли настройка правильной или нет, если вы не экспериментируете с ней.

Для размера партии рекомендуется экспериментировать с размером партии от 16 до 512 (или вы можете go выше, если вы можете). Чем больше размер пакета, тем быстрее он тренируется, тем больше памяти он потребляет. Меньший размер партии также означает, что модель будет «ходить» более случайно. Другими словами, потеря будет уменьшаться в более случайном темпе.

Для оптимизатора, если вы хотите выполнять поиск по сетке, просто используйте Адам. Это очень хорошо для большинства задач.

В общем, никто не может гарантировать, что настройка различных гиперпараметров приведет к увеличению производительности. Все это нужно экспериментировать и записывать. Вот почему так много исследований сделано по настройке гиперпараметров.

...