Мультикласс SVM (один против всех) - PullRequest
Новая
       29

Мультикласс SVM (один против всех)

11 голосов
/ 21 января 2012

Я знаю, что LIBSVM допускает классификацию только один против одного, когда речь идет о мультиклассовых SVM.Тем не менее, я бы хотел немного изменить его, чтобы выполнить классификацию «один против всех».Я попытался выполнить один против всех ниже.Это правильный подход?

Код: 

TrainLabel;TrainVec;TestVec;TestLaBel;
u=unique(TrainLabel);
N=length(u);
if(N>2)
    itr=1;
    classes=0;
    while((classes~=1)&&(itr<=length(u)))
        c1=(TrainLabel==u(itr));
        newClass=c1;
        model = svmtrain(TrainLabel, TrainVec, '-c 1 -g 0.00154'); 
        [predict_label, accuracy, dec_values] = svmpredict(TestLabel, TestVec, model);
        itr=itr+1;
    end
itr=itr-1;
end

Возможно, я допустил некоторые ошибки.Я хотел бы услышать некоторые отзывы.Спасибо.

Вторая часть: Как сказал Грейпот: мне нужно сделать суммирование (или голосование как упрощенное решение), чтобы прийти к окончательному ответу.Я не уверен, как это сделать.Мне нужна помощь в этом;Я видел файл Python, но все еще не очень уверен.Мне нужна помощь.

Ответы [ 3 ]

10 голосов
/ 04 февраля 2012 
%# Fisher Iris dataset
load fisheriris
[~,~,labels] = unique(species);   %# labels: 1/2/3
data = zscore(meas);              %# scale features
numInst = size(data,1);
numLabels = max(labels);

%# split training/testing
idx = randperm(numInst);
numTrain = 100; numTest = numInst - numTrain;
trainData = data(idx(1:numTrain),:);  testData = data(idx(numTrain+1:end),:);
trainLabel = labels(idx(1:numTrain)); testLabel = labels(idx(numTrain+1:end));
%# train one-against-all models
model = cell(numLabels,1);
for k=1:numLabels
    model{k} = svmtrain(double(trainLabel==k), trainData, '-c 1 -g 0.2 -b 1');
end

%# get probability estimates of test instances using each model
prob = zeros(numTest,numLabels);
for k=1:numLabels
    [~,~,p] = svmpredict(double(testLabel==k), testData, model{k}, '-b 1');
    prob(:,k) = p(:,model{k}.Label==1);    %# probability of class==k
end

%# predict the class with the highest probability
[~,pred] = max(prob,[],2);
acc = sum(pred == testLabel) ./ numel(testLabel)    %# accuracy
C = confusionmat(testLabel, pred)                   %# confusion matrix
4 голосов
/ 21 января 2012

Из кода, который я вижу, вы пытаетесь сначала превратить метки в «некоторый класс» против «не этого класса», а затем вызвать LibSVM для проведения обучения и тестирования. Некоторые вопросы и предложения:

  1. Почему вы используете оригинальный TrainingLabel для обучения? На мой взгляд, это должно быть model = svmtrain(newClass, TrainVec, '-c 1 -g 0.00154');?
  2. С измененным механизмом обучения вам также необходимо настроить часть предсказания, например, использовать суммирующее объединение для определения окончательной метки. Использование переключателя -b в LibSVM для включения вывода вероятности также повысит точность.
1 голос
/ 24 августа 2012

Вместо оценки вероятности вы также можете использовать следующие значения решения: 

[~,~,d] = svmpredict(double(testLabel==k), testData, model{k});
prob(:,k) = d * (2 * model{i}.Label(1) - 1);

для достижения той же цели.

...