RMSE и средняя целевая переменная

Question

У меня проблема с регрессией, и я хочу оценить производительность моей модели, используя:

• RMSE
• MSE
• MAE
• MAPE
• R2
• Я также сообщаю среднее значение целевой переменной в данных тестирования

Ранее моя модель достигала RMSE ~ 40 и средней цели переменная была 112.

Я изменил некоторые столбцы и распределения значений в моих данных, чтобы улучшить результаты. Изменение повлияло как на данные обучения, так и на данные тестирования. При этом средняя целевая переменная в данных тестирования составляет ~ 80.

• RMSE ~ 30
• Средняя целевая переменная в данных тестирования: ~ 80

Так я действительно лучше работаю, если RMSE снизился с 40 до 30? Или я обманываю себя, как раньше у меня было 40 (RMSE) / 112 (средн. Taregt VAR) против теперь у меня есть 30 (RMSE) / 80 (средн. Taregt VAR)?

Другими словами, должны ли мы действительно сравнить среднеквадратичное среднеквадратичное значение со средним значением целевой переменной, чтобы узнать, насколько хорошо мы справляемся?

Answer 1

Среднее значение не говорит вам, насколько распространены данные, а отношение вашего среднеквадратичного среднеквадратичного значения к вашему среднему значению не может сказать вам, какая разница может быть объяснена вашей моделью.

Так как он есть в вашем списке, вы можете использовать R2, что примерно равно объясненной пропорции дисперсии, что делает его инвариантным относительно масштаба вашей цели.