информационные критерии для матриц путаницы

Question

Можно измерить степень соответствия статистической модели, используя Информационный критерий Акаике (AIC) , который учитывает степень соответствия и количество параметров, которые использовались для создания модели. AIC включает в себя расчет максимального значения функции правдоподобия для этой модели ( L ). Как можно вычислить L , учитывая результаты прогнозирования модели классификации, представленной в виде матрицы путаницы?

Answer 1

Невозможно рассчитать AIC из матрицы путаницы, поскольку она не содержит никакой информации о вероятности. В зависимости от используемой модели может быть возможно рассчитать вероятность или квази-правдоподобие и, следовательно, AIC или QIC.

С какой проблемой классификации вы работаете и какая у вас модель?

В контексте классификации часто используются другие меры для тестирования GoF. Я бы порекомендовал прочитать «Элементы статистического обучения» Хасти, Тибширани и Фридмана, чтобы получить хороший обзор методологии такого рода.

Надеюсь, это поможет.

Answer 2

Информационный критерий оценки эффективности работы классификатора от Кононенко и Братко - именно то, что я искал:

Точность классификации обычно используется как мера эффективности классификации. Однако известно, что эта мера имеет несколько недостатков. Критерий справедливой оценки должен исключать влияние вероятностей классов, что может позволить совершенно неосведомленному классификатору легко достичь высокой точности классификации. В данной статье предлагается метод оценки информационной оценки ответов классификатора. Он исключает влияние предыдущих вероятностей, имеет дело с различными типами несовершенных или вероятностных ответов и может также использоваться для сравнения показателей в разных областях.