Есть ли альтернативы обратному распространению?

Question

Я знаю, что нейронную сеть можно обучить с использованием градиентного спуска, и я понимаю, как она работает.

Недавно я наткнулся на другие алгоритмы обучения: сопряженный градиент и квазиньютоновские алгоритмы. Я пытался понять, как они работают, но единственная хорошая интуиция, которую я смог получить, это то, что они используют производные более высокого порядка.

Мои вопросы следующие: упомянутые мной альтернативные алгоритмы принципиально отличаются от процесса обратного распространения, где веса корректируются с использованием градиента функции потерь? Если нет, то есть ли алгоритм обучения нейронной сети, который принципиально отличается от механизма обратного распространения?

Спасибо

Answer 1

Алгоритмы сопряженного градиента и квазиньютона по-прежнему являются алгоритмами градиентного спуска.Обратное распространение (или backprop) - это не более чем причудливое имя для вычисления градиента.

Однако оригинальный вопрос об альтернативах backprop очень важен.Например, одной из недавних альтернатив является равновесное распространение (или коротко eqprop).