кластеризация данных выводит нерегулярный график

Question

Хорошо, я опишу то, что я пытаюсь достичь, и как я пытался достичь этого, тогда я объясню, почему я попробовал этот метод.

У меня есть данные из Кубка KDD 1999 в исходном формате, данныеимеет 494 тыс. строк с 42 столбцами.

Моя цель - попытаться кластеризовать эти данные без присмотра.Из предыдущего вопроса здесь:

кластеризация и Matlab

Я получил этот отзыв:

Для начала вам нужно нормализовать атрибутыбыть в том же масштабе: при вычислении евклидова расстояния как части шага 3 в вашем методе объекты со значениями, такими как 239 и 486, будут доминировать над другими объектами с небольшими значениями, равными 0,05, тем самым нарушая результат.

Еще один момент, о котором следует помнить, это то, что слишком много атрибутов может быть плохой вещью (проклятие размерности).Таким образом, вам следует изучить методы выбора элементов или уменьшения размерности.

Итак, первое, что я сделал, - это выбор элементов, относящийся к этой статье: http://narensportal.com/papers/datamining-classification-algorithm.aspx#_sec-2-1

и выглядит так после выбора необходимых функций:

Итак, для кластеризации я удалил дискретные значения, которые оставили меня с 3 столбцами с числовыми данными, а затем приступил к удалениюдубликаты строк: мусор, индекс и уникальность в матрице (как сохранить формат матрицы) в файле, который уменьшил 3 столбца с 494k до 67k, что было сделано следующим образом:

[M,ind] = unique(data, 'rows', 'first');
[~,ind] = sort(ind);
M = M(ind,:);

Затем я использовал случайную перестановку, чтобы уменьшить размер файла с 67k до 1000 следующим образом:

m = 1000;
n = 3;

%# pick random rows
indX = randperm( size(M,1) );
indX = indX(1:m);

%# pick random columns
indY = randperm( size(M,2) );
indY = indY(1:n);

%# filter data
data = M(indX,indY)

Итак, теперь у меня есть файл с тремя выбранными мной функциями, я удалил дубликаты записей и использовалслучайная перестановка для дальнейшего уменьшения набора данных моей последней целью было нормализовать эти данные, и я сделал это с помощью:

normalized_data = data/norm(data);

Затем я использовал tон следует сценарию K-означает:

%% generate clusters
K = 4;

%% cluster
opts = statset('MaxIter', 500, 'Display', 'iter');
[clustIDX, clusters, interClustSum, Dist] = kmeans(data, K, 'options',opts, ...
'distance','sqEuclidean', 'EmptyAction','singleton', 'replicates',3);

%% plot data+clusters
figure, hold on
scatter3(data(:,1),data(:,2),data(:,3), 50, clustIDX, 'filled')
scatter3(clusters(:,1),clusters(:,2),clusters(:,3), 200, (1:K)', 'filled')
hold off, xlabel('x'), ylabel('y'), zlabel('z')
%% plot clusters quality
figure
[silh,h] = silhouette(data, clustIDX);
avrgScore = mean(silh);

%% Assign data to clusters
% calculate distance (squared) of all instances to each cluster centroid
D = zeros(numObservarations, K);     % init distances
for k=1:K
%d = sum((x-y).^2).^0.5
D(:,k) = sum( ((data - repmat(clusters(k,:),numObservarations,1)).^2), 2);
end

% find  for all instances the cluster closet to it
[minDists, clusterIndices] = min(D, [], 2);
% compare it with what you expect it to be
sum(clusterIndices == clustIDX)

Но мои результаты все еще выходят как мой первоначальный вопрос, который я задал здесь: кластеризация и Matlab

Вот чтопри построении графика данные выглядят так:

и:

Может кто-нибудь помочь решить эту проблему, методы, которые я используюне правильные методы или что-то мне не хватает?

Answer 1

Точно так же, как сказать, спасибо Киборгу и Амро за помощь, я понял, что вместо того, чтобы создавать свою собственную предварительную обработку, я сохранил измерения как таковые, и мне наконец удалось получить некоторые кластеризованные данные!

Out put!

Конечно, у меня все еще есть некоторые выбросы, но если бы я мог избавиться от них и построить график из -0,2 - 0,2, я уверен, что он выглядел бы намного лучше. Но если вы посмотрите на первоначальную попытку, я, похоже, доберусь до нее!

  %% load data
    %# read the list of features
    fid = fopen('kddcup.names','rt');
    C = textscan(fid, '%s %s', 'Delimiter',':', 'HeaderLines',1);
    fclose(fid);

    %# determine type of features
    C{2} = regexprep(C{2}, '.$','');              %# remove "." at the end
    attribNom = [ismember(C{2},'symbolic');true]; %# nominal features

    %# build format string used to read/parse the actual data
    frmt = cell(1,numel(C{1}));
    frmt( ismember(C{2},'continuous') ) = {'%f'}; %# numeric features: read as number
    frmt( ismember(C{2},'symbolic') ) = {'%s'};   %# nominal features: read as string
    frmt = [frmt{:}];
    frmt = [frmt '%s'];                           %# add the class attribute

    %# read dataset
    fid = fopen('kddcup.data_10_percent_corrected','rt');
    C = textscan(fid, frmt, 'Delimiter',',');
    fclose(fid);

    %# convert nominal attributes to numeric
    ind = find(attribNom);
    G = cell(numel(ind),1);
    for i=1:numel(ind)
        [C{ind(i)},G{i}] = grp2idx( C{ind(i)} );
    end

    %# all numeric dataset
    fulldata = cell2mat(C);
    %% dimensionality reduction 
    columns = 42
    [U,S,V]=svds(fulldata,columns)
    %% randomly select dataset
    rows = 5000;
    %# pick random rows
    indX = randperm( size(fulldata,1) );
    indX = indX(1:rows);
    %# pick random columns
    indY = randperm( size(fulldata,2) );
    indY = indY(1:columns);
    %# filter data
    data = U(indX,indY)
    %% apply normalization method to every cell
    data = data./repmat(sqrt(sum(data.^2)),size(data,1),1)
    %% generate sample data
    K = 4;
    numObservarations = 5000;
    dimensions = 42;
    %% cluster
    opts = statset('MaxIter', 500, 'Display', 'iter');
    [clustIDX, clusters, interClustSum, Dist] = kmeans(data, K, 'options',opts, ...
    'distance','sqEuclidean', 'EmptyAction','singleton', 'replicates',3);
    %% plot data+clusters
    figure, hold on
    scatter3(data(:,1),data(:,2),data(:,3), 5, clustIDX, 'filled')
    scatter3(clusters(:,1),clusters(:,2),clusters(:,3), 100, (1:K)', 'filled')
    hold off, xlabel('x'), ylabel('y'), zlabel('z')
    %% plot clusters quality
    figure
    [silh,h] = silhouette(data, clustIDX);
    avrgScore = mean(silh);
    %% Assign data to clusters
    % calculate distance (squared) of all instances to each cluster centroid
    D = zeros(numObservarations, K);     % init distances
    for k=1:K
    %d = sum((x-y).^2).^0.5
    D(:,k) = sum( ((data - repmat(clusters(k,:),numObservarations,1)).^2), 2);
    end
    % find  for all instances the cluster closet to it
    [minDists, clusterIndices] = min(D, [], 2);
    % compare it with what you expect it to be
    sum(clusterIndices == clustIDX)

Answer 2

У вас проблема с нормализацией: data/norm(data);.Что вам, вероятно, нужно сделать, это использовать: data_normed = data./repmat(sqrt(sum(data.^2)),size(data,1),1).Это вычисляет норму каждого столбца data, затем дублирует ответ до исходного размера data, затем делит data на нормы столбцов.

Комментарий:

Лучший способ уменьшить размерность числа элементов - это [U,S,V]=svd(data); U=U(:,1:m) или для разреженных данных [U,S,V]=svds(data,m).Это может привести к потере некоторой информации, но это намного лучше, чем случайный выбор.