Мешки с кнн как ученики

Question

Мне трудно понять, почему функция matcenb fitcenseble не позволяет создавать модель ансамбля, используя учеников knn с пакетами, а только методом случайных подпространств, который больше похож на метод случайных лесов.

Я хотел бы использовать сумку для сравнения метода суммирования с использованием разных типов учащихся (например, кнн и деревьев).

Надеюсь, вы мне поможете, заранее спасибо,

Март

Answer 1

Пакетирование редко используется в сочетании с классификаторами k-nn, поскольку поверхности принятия решений обычно слишком стабильны, и любые кратные точки данных в образце начальной загрузки не сдвигают «вес», как во многих других моделях.Перефразируя (1):

Вероятность того, что какой-либо отдельный элемент данных появится хотя бы один раз в выборке начальной загрузки, составляет ~ 0,632.Рассмотрим простой 2-классовый 1-NN классификатор, упакованный N образцами начальной загрузки.Тестовый объект данных может изменить классификацию, только если его ближайшие соседи в наборе обучения не находятся по крайней мере в половине из N выборок начальной загрузки.Вероятность того, что это произойдет, равна вероятности подбрасывания взвешенной монеты с вероятностью 0,632 для голов N раз и получения голов менее 0,5N.Когда N становится больше, эта вероятность становится все меньше и меньше.Аналогичная логика справедлива для задач мультикласса и k-NN.

Если вы хотите создать свои собственные модели упаковки, вы можете сделать это с помощью bootstrp .bootstrp () можно вызвать без функции, вызвав:

[~, BootIndices] = bootstrap(N, [], Data);

BootSample = Data(BootIndices);

(1) Брейман, Лев.«Предсказатели мешков».Машинное обучение 24,2 (1996): 123-140.Глава 6.4.