Производительность классификатора на подмножестве данных

Question

Я использую Weka для выполнения классификации на наборе помеченных веб-страниц и измерения производительности классификатора с помощью AUC. У меня есть отдельный шестиуровневый коэффициент, который не используется в классификации, и я хотел бы знать, насколько хорошо классификаторы работают на каждом уровне фактора.

Какие методы или меры следует использовать для проверки производительности классификатора на подмножестве данных?

Answer 1

Я не уверен, что это именно то, о чем вы спрашиваете, но люди часто используют перекрестную проверку , чтобы разбить один набор данных на несколько подмножеств обучения / тестирования, чтобы лучше оценить эффективность обучения.

Основная идея (например, для 10-кратной перекрестной проверки) состоит в следующем:

1. случайным образом разбивает ваши данные на наборы для обучения и тестирования
2. обучить классификатор на тренировочном наборе
3. оценить его производительность на тестовом наборе
4. повторите шаги 1-3 еще девять раз с различными случайными разделениями обучения / тестирования

Общая производительность классификатора равна его средней производительности по всем 10 наборам тестирования.

Я немного осмотрелся и нашел несколько примеров того, как программно выполнять перекрестную проверку или через Weka UI .

Answer 2

Шаги, рекомендованные Нейтом Колем , верны.Другой, очень важный вопрос - это функция измерения производительности.По моему опыту, максимизация AUC иногда может привести к существенному смещению классификатора.Я предпочитаю использовать Коэффициент корреляции Мэтьюса (MCC) для двоичных классификаторов или Каппа Коэна для категориальных классификаторов с более чем двумя возможными значениями