Какова мотивация для перекрестной проверки при предварительной обработке выбора функций?

Question

Я видел несколько статей и примеров выбора функций (обертки и встроенные методы), в которых они разбивают образцы данных на наборы поездов и тестов.

Я понимаю, почему мы должны использовать перекрестную проверку (разделение данных) в обучающий и тестовый набор) для построения и тестирования оценок моделей (фактическое предсказание предложенного алгоритма).

Но я не могу понять, какова мотивация сделать это для выбора функции?

Нет точных результатов, какие функции нам нужно выбрать, так как же это может улучшить процесс выбора функций?

В чем выгода?

Answer 1

Большинство методов выбора функций, таких как модели-обертки, требуют сравнения производительности модели при использовании различных комбинаций функций.

Перекрестная проверка обеспечивает более надежные средства сравнения производительности при использовании различных поднаборов функций и, следовательно, более надежный процесс выбора функций. Например, если используется перекрестная проверка с K-кратным смещением, сравнение будет основано на среднем значении ошибок из разных сгибов данных, и, следовательно, будет выбрано подмножество, которое приведет к наименьшей ошибке обобщения.

Кроме того, оптимальные гиперпараметры не обязательно одинаковы для разных комбинаций признаков. Перекрестная проверка помогает с настройкой и, следовательно, обеспечивает более справедливое сравнение.

Этот также является информативным ресурсом по этой теме c.