При чтении документации для xgboost у меня сложилось впечатление, что низкая эта и высокая nrounds достаточны для предотвращения переобучения. Несмотря на это, я часто получаю среднюю абсолютную ошибку на моем наборе проверки, которая как минимум вдвое превышает то, что я получаю на моем обучающем наборе. Я пропустил какую-то ценную часть документов? Моя последняя модель была xgboost([data],label=[responce],eval_metric='mae', nrounds=500,eta=0.01), и мои попытки с еще более высокими значениями nround и даже более низкой eta, как правило, дают еще худшие результаты.
Если это поможет, мой набор данных большой и содержит много переменных (это примерно 1500 * 80) мои данные обучения составляют 80% от этого, проверка - 20%, а набор тестов большой и полностью отдельный.