Нормализация до разделения данных в нейронной сети

Question

Я пытаюсь запустить регрессор MLP для моего набора данных с одним скрытым слоем.Я делаю стандартизацию своих данных, но я хочу уточнить, имеет ли значение, буду ли я проводить стандартизацию после или до разделения набора данных в наборе «Обучение и тестирование».Я хочу знать, будут ли какие-либо различия в моих значениях прогноза, если я проведу стандартизацию до разделения данных.

Answer 1

Да и нет.Если среднее значение и дисперсия набора обучения и теста отличаются, стандартизация может привести к другому результату.

При этом хороший набор обучения и теста должен быть достаточно похожим, чтобы точки данных были распределены ваналогичным образом, и стандартизация после разделения должна давать те же результаты.

Answer 2

Вы должны обязательно сделать это перед разделением.

Представьте себе, что [1,2,3,4,5,6,7,8,9,10] в качестве входных данных делятся на [1, 2, 3, 4, 5, 7, 9, 10] для поезда и [6,8] для испытания.

Сразу видно, что диапазоны min-max, а также среднее и стандартное отклонениеоба образца совершенно разные, поэтому, применяя стандартизацию «после разделения», вы полностью разбираете отношения между значениями в первом и втором наборе.