Получить значения из кластера k-средних после кластеризации

Question

У меня есть набор данных, на котором я запустил алгоритм K-средних (scikit-learn), и я хочу построить дерево решений для каждого кластера.Я могу восстановить значения из кластера, но не значения "класса" (я занимаюсь под наблюдением, каждый элемент может принадлежать одному из двух классов, и мне нужно значение, связанное с данными, для построения моих деревьев)

Пример: набор данных без фильтрации:

[val1 val2 class]
X_train=[val1 val2]
y_train=[class]

Код кластеризации такой:

X = clusterDF[clusterDF.columns[clusterDF.columns.str.contains('\'AB\'')]]
y = clusterDF['Class']
(X_train, X_test, y_train, y_test) = train_test_split(X, y,
        test_size=0.30)

kmeans = KMeans(n_clusters=3, n_init=5, max_iter=3000, random_state=1)
kmeans.fit(X_train, y_train)
y_pred = kmeans.predict(X_test)

И это мой (невероятно неуклюжий!) Код для извлечения значений для построениядерево.Проблема заключается в значениях Y;они не соответствуют значениям X

cl={i: np.where(kmeans.labels_ == i)[0] for i in range(kmeans.n_clusters)}
for j in range(0,len(k_means_labels_unique)):
    Xc=None
    Y=None
    #for i in range(0,len(k_means_labels_unique)):
    indexes = cl.get(j,0)
    for i, row in X.iterrows():
        if i in indexes:
            if Xc is not None:
                Xc = np.vstack([Xc, [row['first occurrence of \'AB\''],row['similarity to \'AB\'']]])
            else:
                Xc = np.array([row['first occurrence of \'AB\''],row['similarity to \'AB\'']])
            if Y is not None:
                Y = np.vstack([Y, y[i]])
            else:
                Y = np.array(y[i])
    Xc = pd.DataFrame(data=Xc, index=range(0, len(X)),
                     columns=['first occurrence of \'AB\'',
        'similarity to \'AB\''])  # 1st row as the column names


    Y = pd.DataFrame(data=Y, index=range(0, len(Y)),columns=['Class'])


        print("\n\t-----Classifier ", j + 1,"----")

        (X_train, X_test, y_train, y_test) = train_test_split(X, Y,
            test_size=0.30)

        classifier = DecisionTreeClassifier(criterion='entropy',max_depth = 2)
        classifier = getResults(
            X_train,
        y_train,
        X_test,
        y_test,
        classifier,
        filename='classif'+str(3 + i),
        )

Какие-либо идеи (или совершенно более эффективные способы) использования кластеризованных данных для создания дерева решений из?

Answer 1

Не прочитал весь код, но я предполагаю, что передача вектора индекса в функцию train_test_split поможет вам отслеживать выборки.

X = clusterDF[clusterDF.columns[clusterDF.columns.str.contains('\'AB\'')]]
y = clusterDF['Class']
indices = clusterDF.index
X_train, X_test, y_train, y_test, indices_train, indices_test = train_test_split(X, y, indices)