Scikit-Learn: меньше точек, нанесенных, чем исходные образцы данных после кластеризации с DBSCAN - PullRequest
Новая
       8

Scikit-Learn: меньше точек, нанесенных, чем исходные образцы данных после кластеризации с DBSCAN

0 голосов
/ 01 июля 2018

Я использовал реализацию DBSCAN из библиотеки scikit-learn, когда обнаружил, что число нанесенных точек меньше числа начальных выборок. В частности, в официальной демонстрации DBSCAN http://scikit -learn.org / stable / auto_examples / cluster / plot_dbscan.html автоматически генерируется 750 образцов. Однако, когда я печатаю, сколько точек есть для каждого кластера и сколько выбросов, результат будет: КЛАСТЕР 1: 224, КЛАСТЕР 2: 228, КЛАСТЕР 3: 227, Аутлеры: 18, -> TOTAL = 697. Как вы можете видеть из следующего кода, я только что добавил несколько строк в исходный код, чтобы вывести для каждого кластера количество точек и количество выбросов. Я запутался в этом и хотел бы знать, почему это происходит и где пропущены моменты. Заранее спасибо за ответы! 

print(__doc__)

import numpy as np

from sklearn.cluster import DBSCAN
from sklearn import metrics
from sklearn.datasets.samples_generator import make_blobs
from sklearn.preprocessing import StandardScaler


# #############################################################################
# Generate sample data
centers = [[1, 1], [-1, -1], [1, -1]]
X, labels_true = make_blobs(n_samples=750, centers=centers, cluster_std=0.4,
                            random_state=0)


X = StandardScaler().fit_transform(X)

# #############################################################################
# Compute DBSCAN
db = DBSCAN(eps=0.3, min_samples=10).fit(X)
core_samples_mask = np.zeros_like(db.labels_, dtype=bool)
core_samples_mask[db.core_sample_indices_] = True
labels = db.labels_

n_clusters_ = len(set(labels)) - (1 if -1 in labels else 0)



print('Estimated number of clusters: %d' % n_clusters_)
print("Homogeneity: %0.3f" % metrics.homogeneity_score(labels_true, labels))
print("Completeness: %0.3f" % metrics.completeness_score(labels_true, labels))
print("V-measure: %0.3f" % metrics.v_measure_score(labels_true, labels))
print("Adjusted Rand Index: %0.3f"
      % metrics.adjusted_rand_score(labels_true, labels))
print("Adjusted Mutual Information: %0.3f"
      % metrics.adjusted_mutual_info_score(labels_true, labels))
print("Silhouette Coefficient: %0.3f"
      % metrics.silhouette_score(X, labels))

# #############################################################################
# Plot result
import matplotlib.pyplot as plt


unique_labels = set(labels)

i=1
for k in zip(unique_labels):

      class_member_mask = (labels == k)

      if k == (-1,):
        xy = X[class_member_mask & ~core_samples_mask]
        current_outliers = len(xy)
        print "OUTLIERS :", current_outliers
      else:
        xy = X[class_member_mask & core_samples_mask]
        print "CLUSTER", i, " :",len(xy)
      i+=1 

colors = [plt.cm.Spectral(each)
          for each in np.linspace(0, 1, len(unique_labels))]
for k, col in zip(unique_labels, colors):
    if k == -1:`enter code here`
        col = [0, 0, 0, 1]

    class_member_mask = (labels == k)

    xy = X[class_member_mask & core_samples_mask]
    plt.plot(xy[:, 0], xy[:, 1], 'o', markerfacecolor=tuple(col),
             markeredgecolor='k', markersize=14)

    xy = X[class_member_mask & ~core_samples_mask]
    plt.plot(xy[:, 0], xy[:, 1], 'o', markerfacecolor=tuple(col),
             markeredgecolor='k', markersize=6)

plt.title('Estimated number of clusters: %d' % n_clusters_)
plt.show()

1 Ответ

0 голосов
/ 01 июля 2018

Вы включаете в свой график только образцы керна . Если вы хотите, чтобы все точки были учтены, удалите ограничение на core_samples_mask: 

  if k == (-1,):
    xy = X[class_member_mask]
    current_outliers = len(xy)
    print "OUTLIERS :", current_outliers
  else:
    xy = X[class_member_mask]
    print "CLUSTER", i, " :",len(xy)
  i+=1
...