Количество соседей в классификаторе случайных подпространств КНН

Question

Я построил модель классификатора, используя KNN в качестве учащихся для ансамбля, на основе метода случайных подпространств.

У меня есть три предиктора, размерность которых составляет 541 выборка, и я разрабатываю процедуру оптимизации, чтобы найти наилучшее k(количество соседей).Я выбрал k, которые максимизируют AUC классификатора, производительность которого вычисляется с помощью 10-кратной перекрестной проверки.Результат для лучшего k составил 269 для каждого отдельного слабого ученика (то есть 60 в результате подобной оптимизации).

Теперь мой вопрос: слишком много 269 соседей?Я доверяю результатам оптимизации, но я никогда не использовал так много соседей, и я беспокоюсь о переоснащении.

Заранее спасибо, МП

Answer 1

Выбор k-значения в k-NN скорее зависит от данных .Мы можем поспорить о более общих характеристиках меньшего или большего выбора k-значений, но указание определенного числа как хорошо / плохо сказать не очень точно.Из-за этого, если ваша реализация CV верна, вы можете доверять результатам и двигаться дальше, поскольку CV даст , оптимальный для вашего конкретного случая .Для более общего обсуждения, мы можем сказать следующее о выборе k-значения :

1- Меньший выбор k-значения : Небольшой выборЗначения k могут повысить общую точность и снизить стоимость внедрения, но сделают систему менее устойчивой к шумным данным.

2- Большой выбор значения k : более широкий выборЗначения k сделают систему более устойчивой к шумным данным, но будут более дорогостоящими для выполнения и будут иметь более слабые границы решений по сравнению с меньшими значениями k.

Вы всегда можете сравнить эти общие характеристики при выборе k-значение в вашем приложении.Однако для выбора оптимальных значений с помощью алгоритма, подобного CV , вы получите определенный ответ.