Когда следует обновлять веса в нейронной сети с помощью обратного распространения?

Question

Допустим, у меня есть 3-х слойная полностью подключенная нейронная сеть.Я реализую алгоритм обратного распространения.Мой вопрос заключается в том, должен ли я сначала рассчитать дельты, а затем, после обратного распространения, обновить весовые коэффициенты или сделать это при обратном распространении через слои?Я видел оба пути в интернет-учебниках.

Я не уверен, потому что, если я обновляю веса во время обратного распространения, я использую недавно обновленные веса (скрытые для выходных весов), чтобы вычислить дельты скрытого слоя, и я не уверен, чтоэто желательно.

Извините, если я использовал неправильную терминологию, я новичок в этом и пытаюсь учиться.

Answer 1

Классический подход заключается в обновлении всех весов одновременно, как одной операции.Это может привести к так называемому смещению ковариации (последние уровни обновляются с учетом старых весов из ранних уровней), но именно здесь помогает нормализация партии.