Выбор правильных метрик для регрессионной модели

Question

Я всегда использовал r2 score метрики. Я знаю, что есть несколько метрик оценки, я прочитал несколько статей об этом. Так как я все еще новичок в машинном обучении. Я все еще очень озадачен

1. Когда использовать каждый из них, зависит от нашего случая, если да, пожалуйста, дайте мне пример
2. Я прочитал эту статью и там сказано: r2 score не просто, нам нужны другие вещи для измерения производительности нашей модели. Означает ли это, что нам нужно более 1 метрики оценки, чтобы лучше понять производительность нашей модели?
3. Рекомендуется ли измерять производительность нашей модели только одной метрикой оценки?
4. От в этой статье сказано, что знание распределения наших данных и нашей бизнес-цели помогает нам понять, как выбрать подходящие показатели. Что это значит?
5. Как узнать для каждой метрики, что модель "достаточно хороша"?

Answer 1

Существуют различные метрики оценки для проблем регрессии, как показано ниже.

1. Средняя квадратическая ошибка (MSE)
2. Root -Средняя квадратичная ошибка (RMSE)
3. Средняя абсолютная ошибка (MAE)
4. R² или Коэффициент определения
5. Среднеквадратичная ошибка (MSPE)
6. и т. Д.

Как вы упомянули, вам нужно использовать их в зависимости от типа вашей проблемы, того, что вы хотите измерить, и распределения ваших данных.

1. Для этого вам необходимо понять, как эти метрики оценивают модель. Вы можете проверить определения и плюсы / минусы показателей оценки из этого приятного сообщения в блоге .
2. R² показывает, какая вариация вашей целевой переменной описывается независимыми переменными. Хорошая модель может дать R² балл, близкий к 1,0, но это не значит, что так и должно быть. Модели с низким R² также могут давать низкий MSE балл. Таким образом, для обеспечения предсказательной силы вашей модели лучше использовать MSE, RMSE или другие метрики, кроме R².
3. Нет. Вы можете использовать несколько показателей оценки. Важно, если вы сравниваете две модели, вам нужно использовать один и тот же набор тестовых данных и одни и те же метрики оценки.
4. Например, если вы хотите слишком сильно оштрафовать свои неверные прогнозы, вы можете использовать MSE оценочный показатель c, потому что он в основном измеряет среднюю квадрат ошибку наших прогнозов или если ваши данные имеют слишком много выбросов MSE слишком много штрафуют за эти примеры.
5. Хорошее определение модели изменяется в зависимости от сложности вашей проблемы. Например, если вы тренируете модель, которая предсказывает, что голова или хвост и дает точность% 49, это не достаточно хорошо, потому что базовый уровень этой проблемы составляет% 50. Но для любой другой проблемы точности% 49 может быть достаточно для вашей проблемы. Таким образом, в итоге, это зависит от вашей проблемы, и вам нужно определить или подумать, что человеческий (базовый) порог.