Наиболее распространенным является использование скользящего среднего значения среднего и стандартного для вашей пакетной нормализации, как, например, используется Keras (https://github.com/keras-team/keras/blob/master/keras/layers/normalization.py). Если вы просто выключите его, сеть будет работать хуже на тех же данных, из-заизменения в том, как обрабатываются изображения.
Это делается путем сохранения среднего значения и среднего стандартного значения всех пакетов, использованных во время обучения сети. Затем логическое среднее значение используется для нормализации.