Пакетная нормализация, когда CNN только с 2 ConvLayer? - PullRequest
Новая
       110

Пакетная нормализация, когда CNN только с 2 ConvLayer?

1 голос
/ 03 февраля 2020

Интересно, является ли проблемой использование BatchNormalization, когда в CNN есть только 2 сверточных слоя? Может ли это оказать негативное влияние на эффективность классификации? Теперь я имею в виду не время тренировки, а точность? Моя сеть перегружена ненужными слоями? Я хочу обучить сеть с небольшим набором данных. 

model = Sequential()
model.add(Conv2D(32, kernel_size=(3,3), input_shape=(28,28,1), padding = 'same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.2))
model.add(Conv2D(64, kernel_size=(3,3), padding='same'))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2,2)))
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(128))
model.add(BatchNormalization())
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))
model.compilke(optimizer="Adam", loss='categorical_crossentropy, metrics =['accuracy'])

Большое спасибо.

1 Ответ

0 голосов
/ 22 апреля 2020

Не использовать с выпадением

Пакетная нормализация предлагает некоторый эффект регуляризации, уменьшая ошибку обобщения, возможно, больше не требует использования отсева для регуляризации .

Удаление выпадения из модифицированного BN-Inception ускоряет обучение, не увеличивая переоснащение.

- нормализация партии: Ускорение обучения в глубокой сети за счет уменьшения внутреннего смещения ковариат, 2015 .

Кроме того, может быть плохой идеей использовать пакетную нормализацию и отсев в одной сети.

Причина в том, что статистика используется для нормализации активаций предыдущего слой может стать шумным, учитывая случайное выпадение узлов во время процедуры удаления.

Нормализация партии также иногда уменьшает ошибку обобщения и позволяет исключить выпадение из-за шума в оценке используемой статистики нормализовать каждую переменную.

- Страница 425, Deep Learning , 2016.

Источник - machinelearningmastery.com - нормализация партии

...