Почему мы должны нормировать входные данные как нулевое среднее и единичное отклонение перед подачей в сеть?

Question

В глубоком изучении я видел, что многие работы применяют этап предварительной обработки в качестве этапа нормализации.Он нормализует ввод как нулевое среднее и единичную дисперсию перед подачей в сверточную сеть (имеет BatchNorm).Почему бы не использовать оригинальную интенсивность?В чем выгода шага нормализации?Если бы я использовал сопоставление гистограмм среди изображений, должен ли я использовать шаг нормализации?Спасибо

Answer 1

Нормализация важна для приведения функций в один масштаб, чтобы сеть работала намного лучше.Предположим, есть две особенности, одна из которых измеряется по шкале от 1 до 10, а вторая - по шкале от 1 до 10000.С точки зрения функции квадрата ошибки сеть будет занята оптимизацией весов в соответствии с большей ошибкой для второй функции.

Поэтому лучше нормализовать.