Я запускаю xgboost в какой-то симуляции, где мой размер выборки равен 125. Я измерял 5-кратную ошибку перекрестной проверки, т. Е. В каждом раунде размер моей тренировочной выборки составлял 100, а размер тестируемой выборки - 25. Предполагая, что вседругие параметры фиксированы, но «n_estimators», т. е. количество раундов повышения.
У меня есть два варианта:
запустить 5-кратное резюме для разных n_estimatorsи не используйте раннюю остановку - в этом случае я могу выбрать лучший n_estimator из результатов cv;
далее разделить обучающую выборку на обучение (80) и проверку (20)Тренируйте модель на 80 обучающих наблюдениях и отслеживайте раннюю остановку на 20 проверочных наблюдениях - в этом случае я могу выбрать огромный n_estimator и позволить ему автоматически остановиться.
Вопросы
В варианте 1, если у меня есть другой отдельный образец для тестирования, могу ли я использовать 5 моделей перекрестной проверки на данных тестирования и вычислить среднее / большинствоголосовать? Или мне нужно снова обучить модель с лучшими параметрами на всех 125 наблюдениях и сделать прогноз на тестовом наборе?
В варианте 2 достаточно 80 обучающих наблюдателей для обученияДостаточно ли проверки модели / 20 для мониторинга производительности? (в варианте 1 мы также имеем небольшой размер выборки, но немного лучше)
Какой вариант лучше сравнить с моделью xgboost с другими моделями?