Я новичок в нейронных сетях и, чтобы получить контроль над этим вопросом, я реализовал базовую MLP с прямой связью, которую я в настоящее время обучаю через обратное распространение.Я знаю, что есть более сложные и лучшие способы сделать это, но в Введение в машинное обучение они предполагают, что с одним или двумя приемами базовый градиентный спуск может быть эффективен для изучения реальных данных.Одним из приемов является адаптивная скорость обучения .
Идея состоит в том, чтобы увеличить скорость обучения на постоянное значение a , когда ошибка становится меньше, и уменьшить ее на долю b скорости обучения, когдаошибка становится больше.Таким образом, в основном изменение скорости обучения определяется:
+(a)
, если мы учимся в правильном направлении, и
-(b * <learning rate>)
, если мы разрушаем наше обучение.Тем не менее, в приведенной выше книге нет никаких советов о том, как установить эти параметры.Я не ожидал бы точного предложения, так как настройка параметров - это отдельная тема, но только подсказка, по крайней мере, на порядок.Есть идеи?
Спасибо,Tunnuz