В нейронной сети, почему мы ставим минус перед производной при обратном распространении?

Question

Я учусь на NN.Я понял грубую идею о том, как это работает, но есть еще вещь, которая не ясна.Почему мы ставим минус перед производной?Разве это не должно быть просто производной в случае производной отрицательный сам по себе?Я имею в виду, если градиент точки а уже отрицателен, то отрицательный знак не должен прийти.Не так ли?Пожалуйста, помогите.

Answer 1

Производная в обратном распространении отвечает на этот вопрос: Как потеря (y) изменится, если я увеличу вес (x)?

Для положительной производной - до уменьшения потери мы должны уменьшить веса.Чтобы уменьшить вес, нам нужно только вычесть положительное значение.

Для отрицательной производной - до уменьшить потери, мы должны увеличить веса.Для этого нам нужно вычесть отрицательное значение.

В обоих случаях нам нужно вычесть значение с тем же знаком, что и производная.

w1 = w0 - derivative

Производное равнотакже отвечая на вопрос Сколько потерь изменится? Но это не совсем точно, потому что это говорит нам, сколько, только для плоского наклона в текущей точке.Чтобы лучше контролировать, сколько мы можем использовать коэффициент скорость обучения

w1 = w0 - lr * derivative