Почему ошибка обучения зависит от значения K в KNN?

Question

Почему ошибка обучения увеличивается со значением K в алгоритме KNN?

Для k = 1 ошибка обучения равна нулю, потому что если мы возьмем точку и определим 1-го ближайшего соседа, это будет та же самая точка в обучающий набор данных, поэтому ошибка равна нулю. То же самое должно быть верно для k = 2, 3 .... и так далее. Тогда как получается, что ошибка обучения увеличивается со значением K

Answer 1

Для k = 1 алгоритм выберет обучающую выборку, которая ближе всего к тестовой выборке, поскольку тестовая выборка находится в обучающей выборке, которую она выберет сама, и ошибка будет равна нулю, а также перегруженной модели. Принимая во внимание, что когда k = 2, k = 3 или больше, он будет искать те многочисленные числа соседей, которые могут принадлежать к различным группам, и, следовательно, частота ошибок возрастает.