Преимущество применения tf.image.per_image_standardization () над слоем batch_norm в Tensorflow?

Question

Какая польза от применения tf.image.per_image_standardization() перед первым слоем глубокой нейронной сети над добавлением Batch_Norm layer в качестве первого слоя?

Для нормализации пикселей изображения с плавающей запятой [0.0, 255.0] перед подачей в сеть, какой метод подойдет?

1. tf.image.per_image_standardization ()

2. Batch_Norm - слой

Answer 1

Они оба делают схожие вещи, и можно действительно использовать пакетную норму для нормализации входных изображений.

Однако я бы не использовал для этой цели норму партии:

• Для нормализации изображения понятнее использовать tf.image.per_image_standardization, чем для пакетной нормы.
• Пакетная нормализация является более широкой концепцией, чем нормализация для каждого канала. Такие библиотеки, как тензор потока, позволяют нормализовать вдоль любой оси.
• Пакетная нормализация обычно сопряжена с потоковой статистикой средних и отклонений, используемых для нормализации, которые предназначены для тестирования и развертывания. Вам не нужна эта статистика, когда вы нормализуете входное изображение для образца.