Как правильно оценить алгоритм ML для значений Precision Recall?

Question

Итак, я знаю, что такое Точность и Отзыв.

Точность оптимизирует для ложных срабатываний и отзыва ложных отрицательных. В конце концов, какова цель стоимости бизнеса, которая должна быть принята во внимание. Как и в случае с больницей, вы можете захотеть иметь алгоритм с высоким уровнем отзыва (низкий уровень ложных срабатываний), поскольку стоимость пропуска при выявлении злокачественной опухоли больше, чем необходимость дополнительного расследования этих ложных сигналов тревоги.

Но что все еще считается достойной метрикой точности / отзыва? Как и у меня есть алгоритм двоичной классификации, который имеет точность 0,34, но Recall составляет 0,98. Даже если бизнес-цель благоприятствует оптимизации на предпочтение ложных отрицательных значений (высокий отзыв), можно ли рассматривать такой алгоритм, который хотя и предпочитает высокий отзыв, но имеет низкие значения точности.

Примечание: у меня были серьезные проблемы с дисбалансом класса: около 99% пациентов с 0 и чуть менее 1% были из 1 класса.

Answer 1

Это сильно зависит от контекста, но давайте предположим, что этот классификатор обнаруживает злокачественные опухоли на очень ранних стадиях, где это довольно трудно обнаружить.

Теперь для целей этого анализа давайте рассмотрим два сценария с двумя различными допущениями.

Сценарий 1: система будет использоваться в качестве фазы быстрой фильтрации для огромного числа людей, чтобы быстро уволить тех, кто не подозревается в опухолях

Ну, в таком случае, эта модель с припоминанием .98 редко позволяет человеку с опухолью проскользнуть незамеченным, и это является основной целью системы, поскольку это просто фаза быстрой фильтрации, чтобы уволить значительную часть населения. , так как следующие проверки довольно дорогостоящие и трудоемкие.

Я бы сказал, что в этом сценарии эта система будет хорошо работать

Сценарий 2: Система будет использоваться для диагностики людей с опухолью, которые будут напрямую вовлечены в дорогостоящие программы лечения

В этом вымышленном сценарии система должна быть очень уверенной и точной в отношении тех, кто классифицирован с опухолями, так как после этого нет стадий постфильтрации, и лечение будет дорогостоящим и может вызвать довольно вредные побочные эффекты. эффекты для тех, кто не борется с раком.

В этом случае эта модель будет работать ужасно для той цели, для которой она предназначена в этом сценарии.

Таким образом, это полностью зависит от случая, в сценарии № 1 вполне нормально идти с низкой точностью, если отозвать его очень высоко, конечно, чем выше точность, тем лучше, но пока это не так опускаться ниже определенного порога для отзыва.

В то время как для сценария 2 ожидается, что он будет иметь очень высокую точность, даже если отзыв слишком мал, точность в 0,99 с возвратом в 0,05 вполне подходит для этого сценария.

ОБНОВЛЕНИЕ 1

Что касается дисбаланса класса, от которого страдает ваш набор данных, это может оказать прямое влияние на плохую точность для класса с заниженной выборкой, если вы попытались использовать взвешенную потерю, где у класса с низкой выборкой более высокие веса, которые должны помочь в балансирующий класс влияет на тренировку.

Существует много методов, которые можно использовать для обработки несбалансированных наборов данных, о них вы можете прочитать подробнее здесь