Представьте, что у вас есть глубокая нейронная сеть для решения задачи регрессии, чтобы предсказать вес человека. Ваша нейронная сеть выглядит так:
Dense(112, activation='relu')
Dense(512, activation='relu)
Dropout(0.5)
Dense(1, activation='relu')
Теперь во время обучения предположим, что 50% узлов соответствуют выходу от 30 до 100 в зависимости от входа. Теперь во время тестирования, когда выпадения не происходит, результат от 30 до 100 не будет удваиваться, потому что ранее, когда было активным только 50% узлов, эти 50% узлов передавали какое-то значение на выходной узел, и поэтому мы получали результат от 30 до 100, и теперь во время тестирования, когда все узлы активны, поэтому все узлы передают какое-то значение на выходной узел. Итак, если 50% узлов получили результат от 30 до 100, не будет ли это значение удвоено во время тестирования, когда 100% узлов активны?