Я прошел курс фастая и у меня возникли вопросы и сомнения по поводу того, что я услышал ...
Ссылка на видео:
https://www.youtube.com/watch?v=hkBa9pU-H48&t=3139s
В уроке 6,Джереми сказал: «На практике мы не используем разные средние значения и отклонения для каждой мини-партии, и если бы мы это делали, это сильно варьировалось бы:« это было бы очень трудно тренировать », вместо этого мы принимаем экспоненциальное среднее от среднегои отклонение.
Я так растерялся из-за слова «поезд».
Это звучит так странно для меня, разве это не должен быть какой-то шум в качестве регуляризации во время тренировки?
И я понимаю, что при тестировании мы должны экспоненциально брать среднее значение среднего значения и отклонения.
Но не на тренировке, верно? Я изучаю множество библиотек и не видел, чтобы муравей использовал для этого скользящее среднее.нормализация партии на этапе обучения.
Может кто-нибудь поправить меня, если я ошибаюсь, Спасибо!