Понимание отсева в ДНН

Question

Из того, что я понимаю, регуляризация отсева DNN заключается в следующем:

Выпадение:

Сначала мы случайным образом удаляем нейроны из DNN, оставляя только вход и выход одинаковыми.Затем мы выполняем прямое и обратное распространение на основе мини-пакета;изучите градиент для этого мини-пакета, а затем обновите весовые коэффициенты и смещения. Здесь я обозначу эти обновленные весовые коэффициенты и смещения как Updated_Set_1.

Затем мы восстанавливаем DNN в состояние по умолчанию и произвольно удаляем нейроны.Теперь мы выполняем прямое и обратное распространение и находим новый набор весов и смещений, который называется Upd_Set_2.Этот процесс продолжается до тех пор, пока Обновлено_Set_N ~ N не представит количество мини-пакетов.

Наконец, мы рассчитываем среднее значение всех весов и смещений на основе общего значения Upd_Set_N;Например, из Updated_Set_1 ~ Обновлено_Set_N.Эти новые средние веса и смещения будут использоваться для прогнозирования нового ввода.

Я просто хотел бы подтвердить, правильно ли мое понимание или нет.Если не так, пожалуйста, поделитесь со мной своими мыслями и научите меня.заранее спасибо.

Answer 1

Ну, на самом деле усреднения нет.Во время обучения для каждой прямой / обратной прямой передачи мы случайным образом «отключаем» / деактивируем некоторые нейроны, так что их выходные данные и соответствующие веса не учитываются ни при вычислении выходных данных, ни при обратном распространении.

Это означает, чтомы заставляем другие активированные нейроны давать хороший прогноз без помощи дезактивированных нейронов.Таким образом, это увеличивает их независимость от других нейронов (признаков) и таким же образом увеличивает обобщение модели.

В остальном фаза прямого и обратного распространения одинакова без выпадения.