Коэффициент отсева в слоях горлышка бутылки

Question

Обычно по умолчанию используется коэффициент отсева 0.5, который я также использую в своей полностью подключенной сети.Этот совет следует рекомендациям из оригинальной статьи Dropout (Hinton at al).

Моя сеть состоит из полностью связанных слоев размером

[1000, 500, 100, 10, 100, 500, 1000, 20].

Я не применяю выпадение к последнему слою.Но я применяю его к слою с горлышком бутылки размером 10. Это не кажется разумным, учитывая, что dropout = 0.5.Я думаю, что много информации теряется.Есть ли эмпирическое правило, как обрабатывать слои горлышка бутылки при использовании отсева?Лучше ли увеличить размер горлышка бутылки или уменьшить количество выбывших?

Answer 1

Добавлен выпадающий слой, чтобы предотвратить чрезмерную подгонку (перегруппировку) в нейронной сети.

Во-первых, скорость выпадения добавляет шум в выходные значения слоя, чтобы нарушить шаблоны случайностей, которые вызывают переобучение.

здесь коэффициент отбрасывания 0,5 означает, что 50% значений должны быть исключены, что является высоким коэффициентом шума и определенным Нет для слоя с горлышком бутылки.

Я бы рекомендовал вам сначала тренировать слой с горлышком бутылки без выпадения изатем сравните его результаты с увеличением отсева.

выберите модель, которая наилучшим образом проверяет ваши тестовые данные.