Как правильно выбрать множитель скорости обучения?

Question

Я хочу вручную выбрать правильную скорость обучения в задаче классификации изображений, используя Pytorch, запустив модель в течение нескольких эпох. Я использовал планировщик LR для снижения скорости обучения, а также манипулировал скоростью обучения в группе параметров оптимизатора, но я не вижу каких-либо изменений в потере.

Answer 1

Настройка скорости обучения и поиск «единого» может быть очень утомительным и отнимает много времени.

К счастью для вас, вы не первый, кого беспокоит эта проблема, и есть несколько подходов для настройки скорость обучения более систематическим образом c.
Назовите только два из этих методов:

1. Гиперградиентный спуск - трактовка скорости обучения в качестве параметра и "учить" это тоже.
2. Циклические скорости обучения - поиск «оптимальной» скорости обучения в пределах интервала.

Answer 2

Пожалуйста, посмотрите на это. Это может дать вам некоторое представление. LR Finder fastai