У меня проблемы с пониманием связи между проверкой градиента и алгоритмом обратного распространения, я знаю, что мы реализуем проверку градиента после backprop, чтобы убедиться, что наш алгоритм обратного хода работает хорошо.
У меня есть нейронная сеть с 4 входами + смещение и одним скрытым слоем с двумя единицами + смещение и одним выходом
я сгенерировал случайные веса для моей нейронной сети. и реализовал алгоритм обратного распространения. и теперь мой алгоритм обратного распространения - это возвращение двух весовых матриц theta1 и theta2.
В чем я не уверен, так это в том, что при реализации градиентной проверки он собирается вернуть две матрицы, чтобы сравнить их с двумя матрицами, приведенными в алгоритм backprop? или просто значение signle?
, если собирается вернуть две матрицы? как их рассчитать?