BatchNormalization и ELU, когда всего 2 ConvLayer и небольшой набор данных?

Question

Я хочу обучить CNN с небольшим набором данных, всего 500 изображений. Интересно, рекомендуется ли BatchNormalization только тогда, когда у CNN гораздо больше ConvLayer, чем всего 2?

Цель BatchNormalization должна заключаться в борьбе с проблемой умирающего градиента. И умирающий градиент возможен только тогда, когда у CNN более 2 ConvLayers, верно? И та же самая причина должна быть для ELU, когда сеть больше, верно?

Каков ваш опыт? Я надеюсь на любые подсказки, потому что дело очень важно.

Answer 1

Нормализация партии не имеет ничего общего с умирающими градиентами - это работа для функций активации. Пакетная нормализация повышает скорость и стабильность обучения в сети.

Как правило, вы хотите использовать BN и RELU, независимо от размера вашей сети.