Метрики оценки прогноза - относительная ошибка - PullRequest
0 голосов
/ 15 ноября 2018

Я делаю процесс прогнозирования с помощью SVR, и в качестве метрик оценки я получаю Относительную ошибку (RE) = 42,25%, это приемлемо? Примечание. В моем наборе данных содержится более 50 тыс. Экземпляров.

Спасибо.

1 Ответ

0 голосов
/ 15 ноября 2018

Как всегда при оценке качества модели: зависит .Это зависит от ваших данных, от вашей цели, от ваших «затрат» на ошибки ...

Что вы можете видеть из своих различных метрик, так это то, что у вас есть огромная разница впроизводительность во всех ваших прогнозах.Таким образом, относительная ошибка ~ 42% не имеет смысла, если учесть дисперсию +/- 97%.

Если посмотреть на вашу абсолютную ошибку, вы пропустите свою цель в среднем на ~ 35 "единиц", но сдисперсия +/- 43.

Для меня все эти метрики кричат ​​"мы не надежны", что, в свою очередь, указывает на неподходящую модель.

...