Почему мы должны сохранять «ожидаемый результат» во время отсева?

Question

Я очень смущен тем, почему мы должны сохранять значение ожидаемого результата при выполнении регуляризации отсева. Почему это важно, если среднее значение выходных данных layer l отличается на этапе обучения и тестирования? Веса, которые не равны нулю после отсева, являются лишь немного масштабированным значением самого себя, как это влияет на способность нейронной сети принимать решения?

Согласно комментарию под этим вопросом, он говорит, что сигмоид выходного слоя может интерпретировать значение как 0 вместо 1, если не масштабируется. Но сброшенные веса в любом случае не влияют.

Пожалуйста, пролите немного света, я не могу видеть общую картину концепции.

Answer 1

Нашел ответ на этот вопрос, любезно предоставив видео лекции Эндрю Нга. Мы в основном сохраняем значение ожидаемого результата активаций, где применяется отсев, чтобы он не влиял на результат затрат и чтобы он оставался таким же ожидаемым значением, как и без отсева. Следовательно, мы масштабируем значение и разводим веса.