Краткое определение обратного распространения и градиентного спуска

Question

Мне нужно написать очень короткое определение обратного распространения и градиентного спуска, и я немного запутался, в чем разница.

Правильно ли следующее определение?

Для расчета весов нейронной сети используется алгоритм обратного распространения n.Это процесс оптимизации уменьшения ошибки модели.Техника основана на методе градиентного спуска.И наоборот, вклад каждого веса в общую ошибку вычисляется из выходного слоя по всем скрытым слоям во входной слой.Для этого вычисляется частная производная функции ошибки E от w.Полученный градиент используется для корректировки весов в направлении самого крутого спуска:

w_new = w_old - learning_rate* (part E / part w_old)

Есть предложения или исправления?

Спасибо!

Answer 1

Первый градиентный спуск - это только один из методов для обратного распространения, отличающийся от того, что ваше определение является правильным.Мы просто сравниваем сгенерированный результат с желаемым значением и пытаемся изменить веса, присвоенные каждому ребру, чтобы ошибки были как можно меньше.Если после изменения ошибка увеличивается, она возвращается к предыдущему состоянию.Скорость обучения, которую вы выбираете, не должна быть очень низкой или очень высокой, иначе это приведет к исчезновению градиента или взрывной проблеме градиента соответственно, и вы не сможете достичь минимальной ошибки.