Вопрос о понимании использования нормализации партии - PullRequest
0 голосов
/ 29 мая 2019

Насколько я понимаю, Пакетная нормализация после определенного сетевого уровня нормализует вывод указанного слоя, учитывая мини-пакет в качестве входных данных для сети по отношению к выборкам мини-пакета.Однако что, если я не использую метод обучения Minibatch?Что делать, если я тренирую сеть, используя Stochastic Gradient Descent, где обновление весов происходит отдельно для каждой выборки набора данных.Является ли нормализация партии бесполезной или мое понимание неверно?

...