Когда использовать поиск скорости обучения

Question

Чтение статьи «Циклические темпы обучения для обучения нейронных сетей» https://arxiv.org/abs/1506.01186

Имеет ли смысл использовать измеритель скорости обучения, если модель переизбирается?Кроме сокращения количества итераций до того, как волеизъявление модели с помощью искателя обучения предотвратит переопределение?

Из прочтения статьи нет никаких предположений, что этот метод сокращения переопределения подходит для моей интерпретации?

Answer 1

Я не думаю, что изменение скорости обучения снижает переоснащение.Чтобы избежать чрезмерного соответствия, вы можете захотеть использовать регуляризацию и выпадение L1 / L2 или некоторые из их вариантов.