Я обучаю ResNet18 распознаванию изображений на сокращенном наборе данных CIFAR10. И пробую разные настройки. Это включает различное снижение скорости обучения. Теперь я установил спад скорости обучения с коэффициентом 0,5 для 60-й и 120-й эпох и наблюдаю эти огромные нисходящие всплески всякий раз, когда происходит спад (см. Рисунок). Поэтому мне было интересно, почему это так. Насколько я понимаю, не должна ли линия становиться более плавной, поскольку колебания меньше при меньшей скорости обучения?
