Каковы хорошие значения для u и d в алгоритме обратного распространения Сильвы и Алмейды?

Question

Алгоритм Сильвы и Алмейды улучшает существующий алгоритм обратного распространения путем введения индивидуальных адаптивных скоростей обучения для каждого веса.Значение для новой скорости обучения вычисляется следующим образом:

Я прочитал, что константы u и d установлены на u > 1 и d < 1,Эти ограничения довольно широкие, поэтому есть ли какие-то общие рекомендации по установке этих значений, или мне нужно выяснить это экспериментально для моей конкретной проблемы?

Answer 1

Я прочитал, что хорошие "начальные" значения, подходящие для большинства задач, - это попробовать u = 1.2 и d = 0.8, но я не могу сейчас найти источник.

Редактировать: Я нашелit, PDF page 10-11

Также обратите внимание на комментарии о том, как улучшить алгоритм, введя импульсный термин, если у вас его еще нет ...