Классификация обучения под наблюдением

Question

Я знаю, что k-NN - это схема классификации, которая для каждой точки, которую вы хотите классифицировать, берет k ближайших соседей, затем, используя некоторое расстояние, и использует большинство голосов для классификации точки.

Существует ли аналогичный алгоритм регрессии, когда существует только один класс, класс А. У вас есть набор данных из нескольких (не всех) точек в пространстве пространственных объектов, который находится в классе А. Чтобы вычислить вероятность появления новой точки в пространственном объекте находится в классе A, вы смотрите на плотность в пределах расстояния k от этой точки класса A?

Answer 1

Я думаю, что вы запрашиваете оценка плотности вероятности . Вы хотите использовать свои наблюдения точек в классе A, чтобы эмпирически построить функцию плотности вероятности, а затем использовать этот PDF для прогнозирования вероятности появления новой точки в классе A.

Есть много способов реализовать это, и самым простым может быть моделирование ваших данных как гауссовых или смесь гауссианов . В случае одной гауссовской модели вы можете просто вычислить среднее значение и дисперсию вашего набора данных для параметризации гауссовской модели. Это предполагает, что гауссовская модель хорошо подходит для вашего набора данных, и если нет, то есть более сложных методов, таких как создание гистограммы или использование различных распределений.

Однако, если вы заинтересованы только в классификации того, принадлежит ли точка к классу, тогда оценка плотности может оказаться излишней. Вы можете просто использовать любой из многочисленных алгоритмов классификации (Случайные леса, SVM, логистическая регрессия, нейронные сети и т. Д.), И они ничего не скажут вам о базовом распределении данных, а просто дадут вам классификатор.