Как объединить результаты разных показателей и получить на их основе оценку? - PullRequest
Новая
       60

Как объединить результаты разных показателей и получить на их основе оценку?

0 голосов
/ 29 мая 2020

У меня есть следующий фрейм данных, который показывает производительность моих 6 моделей с использованием разных показателей. Я хочу получить оценку по результатам всех показателей, а затем определить лучшую модель. Я не могу использовать среднее значение, потому что показатели не совпадают. (Например, более высокий AU C лучше, но, с другой стороны, более низкий MAE, MSE и RMSE лучше) 

  Model RMSE    MAE     MSE     AUC    Score
0   a   0.29    0.187   0.084   0.65     ?
1   b   0.29    0.187   0.084   0.649    ?
2   c   0.299   0.17    0.09    0.64     ?
3   d   0.308   0.149   0.095   0.663    ?
4   e   0.314   0.143   0.099   0.675    ?
5   f   0.319   0.146   0.102   0.682    ?

Разумно ли, если я просто умножу их все вместе, а затем умножу на 1 / AU C и использовать это значение в качестве оценки?

Есть идеи?

1 Ответ

1 голос
/ 29 мая 2020

Это зависит от вашей целевой функции и проблемы, которую вы пытаетесь решить.

Обычно «лучшая» модель работает лучше, чем другие модели с использованием некоторых показателей, но не работает так же хорошо с другими показателями. Например, в вашем примере увеличение RMSE дает лучший AU C, но худший MAE. Взгляните на документацию scikit для получения обширного списка метрик ошибок, которые вы могли бы использовать: https://scikit-learn.org/stable/modules/model_evaluation.html. Вам нужно будет решить, получат ли все одинаковые веса или нет.

Вы можете sh рассмотреть пакетирование, когда вы комбинируете взвешенную комбинацию всех ваших моделей, вместо того, чтобы выбирать только одну модель, чтобы уменьшить ошибки обобщения при работе с данными вне выборки.

Также рассмотрите возможность создания данных вне выборки, которые соответствуют случайному распределению вашего обученного набора данных. Вы можете обнаружить, что данные вне выборки генерируют метрики ошибок для каждой модели, которые сильно отличаются от результатов в выборке, и моделирование Монте-Карло этих тестов вне выборки даст вам лучшую ясность в отношении того, какая модель (модели) и показатели ошибок, на которых следует сосредоточиться.

...