Как вы рассчитываете градиент смещения в конволюционной нейронной сети?

Question

Мне трудно найти ресурсы в Интернете о том, как предварительно сформировать обратное распространение с предвзятостью в сверточной нейронной сети.Под смещением я подразумеваю число, добавленное к каждому числу, полученному в результате свертки.

Вот изображение, дополнительно объясняющее

Я знаю, как рассчитать градиент для весов фильтрано я не уверен, что делать с уклонами.Сейчас я просто корректирую его по средней ошибке для этого слоя.Это правильно?

Answer 1

Это похоже на градиент смещения в стандартных нейронных сетях, но здесь мы суммируем по всем градиентам по выводу свертки:

, где L - функция потерь, w и h - ширина и высота выходного значения извлечения,является градиентом выходного значения свертки относительно функции потерь.

Таким образом, градиент b вычисляется путем суммирования всех выходных градиентов свертки в каждой позиции (w, h) относительно функции потерь L.

Надеюсь, это поможет.