Параметры стандартизации / нормализации на данных проверки

Question

Просто глупый вопрос.
Я знаю, что лучше всего стандартизировать тренировочный набор и его параметры (мин., Макс. Для нормализации и среднее стандартное значение для стандартного ввода), а затем нормализовать валидационный набор.
Но ябыло интересно: что, если в имеющемся у нас проверочном наборе присутствуют различные минимальные / максимальные значения, и в результате мы получим значения, диапазон которых больше не будет на интервале (0,1)?
Влияет ли это на нейронную сеть при выполнениипрогноз на данные проверки или нет?Является ли это проблемой (имеющей хорошо масштабируемые данные) для данных, которые эффективно используются для изучения?

Последний глупый вопрос: когда мы тестируем нашу модель на невидимых данных, эти данные снова должны быть нормализованы с параметрами нормализации обучения, верно?Поскольку эти параметры фактически являются частью обученной модели.

Answer 1

Когда вы масштабируете, вы обычно знаете объем ваших данных:

• для изображения, вы переходите от 0-255 к 0-1, это хорошо, вы заранее знаете диапазон
• для других функций масштабируется не равномерное распределение, а гауссово, и в этом случае вы не должны быть ограничены интервалом [0,1] для выходных данных (или [-1,1]]).

Поэтому, как правило, если вы знаете, какой выход вы хотите (вероятность или изображение), вы также знаете реальный полный диапазон, который вы можете иметь для входа.

Когда вы не знаете входной диапазон, вы обычно не хотите иметь сигмоид на выходе, потому что это ограничивает вашу сеть больше, чем вы должны.

И да, вам нужно использовать тот же конвейер предварительной обработкичто касается ваших тренировочных данных, то есть обученных параметров нормализации.