Как получить документы, принадлежащие к его кластеру в кластеризации на основе плотности? - PullRequest
Новая
       81

Как получить документы, принадлежащие к его кластеру в кластеризации на основе плотности?

1 голос
/ 02 июля 2019

Я использую кластеризацию DBSCAN для текстового документа следующим образом, благодаря этому сообщению . 

db = DBSCAN(eps=0.3, min_samples=2).fit(X)
core_samples_mask1 = np.zeros_like(db1.labels_, dtype=bool)
core_samples_mask1[db1.core_sample_indices_] = True
labels1 = db1.labels_

Теперь я хочу увидеть, какой документ принадлежит какому кластеру, например: 

[I have a car and it is blue] belongs to cluster0

или 

idx [112] belongs to cluster0

Похожий способ, которым мой вопрос задан в здесь , но я уже проверил некоторые ответы, представленные там как: 

X[labels == 1,:]

и я получил: 

array([[0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0],
       [0, 0, 1, 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 0]], dtype=int64)

но это мне не помогает.Пожалуйста, дайте мне знать, если у вас есть предложения или способы сделать это.

1 Ответ

2 голосов
/ 02 июля 2019

Если у вас есть кадр данных pandas df со столбцами idx и messages, то все что вам нужно сделать, это 

df['cluster'] = db.labels_

для получения нового столбца cluster с членством в кластере.

Вот короткая демонстрация с фиктивными данными: 

import numpy as np
import pandas as pd
from sklearn.cluster import DBSCAN

X = np.array([[1, 2], [5, 8], [2, 3],
               [8, 7], [8, 8], [2, 2]])

db = DBSCAN(eps=3, min_samples=2).fit(X)
db.labels_
# array([0, 1, 0, 1, 1, 0], dtype=int64)

# convert our numpy array to pandas:
df = pd.DataFrame({'Column1':X[:,0],'Column2':X[:,1]})
print(df)
# result:
   Column1  Column2
0        1        2
1        5        8
2        2        3
3        8        7
4        8        8
5        2        2

# add new column with the belonging cluster:
df['cluster'] = db.labels_

print(df)
# result:
   Column1  Column2  cluster
0        1        2        0
1        5        8        1
2        2        3        0
3        8        7        1
4        8        8        1
5        2        2        0
...