Существует две общеобразовательные школы классификации:
1) Дискриминационная - Здесь мы пытаемся определить границы принятия решений на примерах обучения.Затем, основываясь на том, в какой части пространства находится тестовый пример, как определено границей решения, мы присваиваем ему класс.Современный алгоритм - это SVM , но вам нужны ядра, если ваши данные не могут быть разделены линией (например, они разделяются кружком).
Модификации SVM для мультикласса (много способов сделать это, вот один):
Пусть пример jj (из k) обучения xj будет в классе i (из N).Тогда его метка yj = i.
a) Вектор объекта: Если xj = пример обучения, принадлежащий классу i (из N), то Вектор элемента, соответствующий xj, имеет вид phi (xj, yj) = [0 0... X .. 0]
Примечание: X находится в i-й "позиции".phi имеет в общей сложности D * N компонентов, где каждый пример имеет D функций, например, изображение лука имеет D = 640 * 480 целых оттенков серого
Примечание: для других классов p т.е. y= p, phi (xj, y) имеет «X» в векторе объектов в позиции p, все остальные нули.
b) Ограничения: сверните W ^ 2 (как в Vanilla SVM) такой, что:
1) Для всех меток y, кроме y1: W.phi (x1, y1)> = W.phi (x1, y) + 1
и 2) Для всехметки y кроме y2: W.phi (x2, y2)> = W.phi (x2, y) + 1
...
и k) Для всех меток y, кроме yk:W.phi (xk, yk)> = W.phi (xk, y) + 1
- Примечание: интуиция здесь заключается в том, что W.phi (xj, yj) больше, чем все остальные W.phi (xj, y1), W.phi (xj, y2) и т. д.
2) Generative - Здесь мы предполагаем (что может оказаться бессмысленным), чтокаждый пример был сгенерирован распределением вероятностей для этого класса (например, гауссиан для лиц мужского пола и один для женских лиц, который хорошо работает на практике), и мы стараемсяВ параметрах - среднем значении, ковариации - каждого распределения путем вычисления среднего значения, ковариации обучающих примеров, соответствующих этому классу.Затем для тестового примера мы видим, какое распределение дает наибольшую вероятность, и соответственно классифицируем.
Ни один из них не использует N классификаторов да-нет.
Дискриминационный метод лучше работает на практике для классификации, но можетt модели вероятностных ответов.Также необходимо большое количество обучающих примеров для того, чтобы шаг оптимизации (минимизировать W ^ 2) сходился.Существует методика объединения двух, избегая ядер, называется Максимальная энтропийная дискриминация.
Чтобы ответить на ваш другой вопрос:
Что мне делать с картиной, которая получает высокие оценки оти то и другое?Есть ли какой-нибудь способ получить единственный грибной или луковый классификатор, который каким-то образом знает, что между этими двумя классами растительности нет совпадений?
Это скорее проблема с входными данными,не с самим алгоритмом обучения, который просто работает на матрице чисел.Это может отражать шум / неопределенность в области (иначе люди могут отличить грибы от лука совершенно?).Это может быть исправлено большим / лучшим (обучающим) набором данных.Или, может быть, вы выбрали плохое распределение для модели, в генеративном случае.
Большинство людей предварительно обрабатывают необработанные изображения перед классификацией на этапе, называемом «Выбор элементов».Одним из способов выбора функции может быть захват силуэта овоща, поскольку грибы и лук имеют разные формы, а остальная часть изображения может быть «шумом».В других областях, таких как обработка на естественном языке, вы можете удалить предлоги и сохранить количество различных существительных.Но иногда производительность может не улучшиться, потому что алгоритм обучения может не учитывать все функции в любом случае.Это действительно зависит от того, что вы пытаетесь запечатлеть - творчество вовлечено.Также существуют алгоритмы выбора функций.
Хорошим ресурсом для машинного обучения являются курсы Тони Джебары в Колумбийском университете