При проверке градиента мы добавляем / вычитаем эпсилон (крошечное значение) как для тэты, так и для константы b?

Question

Я проходил курс глубокого обучения Эндрю Нга (курс 2).

В упражнении по проверке градиента он реализует функцию, преобразующую словарь, содержащий все веса (W) и константы (b), в один закодированный вектор в горячем виде (размер 47 x 1).

Затем начальный код перебирает этот вектор, добавляя эпсилон к каждой записи в векторе.

Включает ли обычно проверка градиента добавление эпсилона / вычитания к константе? Или это просто для удобства, поскольку константы играют относительно небольшую роль в общем расчете функции стоимости?

Answer 1

Вы должны делать это независимо, даже для констант. Причина проста: будучи константами, вы знаете, что их градиент равен нулю, поэтому вы все равно хотите проверить, правильно ли вы его «вычислили». Вы можете видеть это как дополнительную страховочную сеть