Разъяснение по обратному распространению

Question

Как я обычно делаю, находясь дома слишком долго, я думал о обратном распространении.

Если мой мыслительный процесс правильный, для вычисления обновления весов нам фактически не нужно вычислять стоимость. Нам нужно только вычислить производную от стоимости.

Это правильно?

Я полагаю, что единственной причиной для расчета стоимости будет проверка того, Сеть на самом деле учится.

Я действительно верю, что я прав, но проверяя число rnet, кажется, никто не делает этого наблюдения. Так что, возможно, я ошибаюсь. Если да, у меня есть глубокое недопонимание обратного распространения, которое мне нужно исправить.

Answer 1

Вы правы.

Функция стоимости - это то, что говорит вам, сколько стоит решение. Градиент - это то, что несет информацию о том, как сделать это дешевле.

Вы можете изменить стоимость с любым постоянным сложением или вычитанием, и это не будет иметь значения, потому что нет способа сделать эту часть от стоимости go вниз.