Логистическая регрессия: метод «один против всех» для множественной классификации

Question

Я новичок в машинном обучении.Когда я узнаю о логистической регрессии, используя метод «один против всех» (one-vs-rest) для мультиклассификации: в логистической регрессии функция гипотезы пытается оценить вероятность положительного класса.Предположим, у нас есть 3 класса, затем каждый класс, мы должны предсказать функцию гипотезы h (x)

h1(x)=P(y=1|x)
h2(x)=P(y=2|x)
h3(x)=P(y=3|x)

Однако сумма трех вероятностей не равна 1?Я «чувствую», что это равно 1, и я не понимаю, почему это не так.Может кто-нибудь объяснить, почему?

Answer 1

Ваши результаты верны, а сумма h1(x), h2(x) и h3(x) не должна быть равна 1.

Когда вы выполняете классификацию «один против всех», то для каждого класса (например, класса 1) у вас есть две вероятности p(y=1|x) и p(y!=1|x), которые в сумме составляют 1:

p(y=1|x) + p(y!=1|x) = 1.

Но, поскольку вы все-все-независимые классификации независимы, то

p(y!=1|x) != p(y=2|x) + p(y=3|x) (at least not necessarily).

Может быть, это легче понять на примере:

• первый классификатор говорит, что p (y = 1 | x) = 0,7 и p (y! = 1 | x) = 0,3;
• второй классификатор говорит, что p (y = 2 | x) = 0,7 и p (y! = 2 | x) = 0,3;
• третий классификатор говорит, что p (y = 3 | x) = 0,7 и p (y! = 3 | x) = 0,3.

Все они являются действительными классификаторами, но

p(y=1|x) + p(y=2|x) + p(y=3|x) != 1.