Является ли выбор модели на основе показателя F1 (рассчитывается при пороге = 0,5) эквивалентным выбору модели на основе области под кривой точного отзыва?

Question

https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc дает хорошую сводку по точности против AURO C против F1 против AUPR.

При сравнении характеристик разных моделей в одном наборе данных, в зависимости от варианта использования можно выбрать Точность, AURO C, AUPR или F1.

Хотя мне не совсем ясно, что: «делает выбор на основе F1 (гармоники c означают между точностью и отзывом) превышение порога в 0,5 приводит к тому же выбору по сравнению с выбором на основе области под кривой PR? "

Если да, то почему?

Answer 1

Это, безусловно, , а не , по очень простой и фундаментальной причине: баллы AU C (либо RO C, либо кривые PR) фактически дают производительность модели в среднем по всему диапазону порогов ; Если внимательно присмотреться к связанному документу, вы увидите следующее относительно PR AU C (выделено в оригинале):

Вы также можете представить PR AU C как среднее значение точности, рассчитанное для каждого порога отзыва . Вы также можете изменить это определение в соответствии с потребностями своего бизнеса, выбрав / обрезав пороги отзыва, если это необходимо.

, и вы можете использовать PR AU C

, когда захотите на выберите порог, который соответствует бизнес-задаче

В тот момент, когда вы выберете любое заданное пороговое значение c (в точности, вспомните, F1 и c), вы оставили область баллов AU C (RO C или PR) в целом - вы находитесь в одной точке кривой, и средняя площадь под кривой больше не является полезной (или даже значимой).

Я спорил в другом месте , почему оценки AU C могут вводить в заблуждение, в том смысле, что большинство людей думают, что они дают что-то другое, чем то, что они фактически дают, то есть производительность модели во всем диапазоне пороговых значений, в то время как то, что каждый собирается развернуть (и, следовательно, заинтересован в его производительности), обязательно будет действительно включать определенный c порог.