Как построить KMeans?

Question

Я пытаюсь использовать MiniBatchKMeans с большим набором данных и отображать 2 разных атрибута. Я получаю Keyerror: 2 Я считаю, что я делаю ошибку в моем for l oop, но я не уверен, где. Может ли кто-нибудь помочь мне увидеть, где моя ошибка? Я запускаю следующий код:

import numpy as np ##Import necessary packages
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib import style
style.use("ggplot")
from pandas.plotting import scatter_matrix
from sklearn.preprocessing import *
from sklearn.cluster import MiniBatchKMeans 


url2="http://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data" #Reading in Data from a freely and easily available source on the internet
Adult = pd.read_csv(url2, header=None, skipinitialspace=True) #Decoding data by removing extra spaces in cplumns with skipinitialspace=True
##Assigning reasonable column names to the dataframe
Adult.columns = ["age","workclass","fnlwgt","education","educationnum","maritalstatus","occupation",  
                 "relationship","race","sex","capitalgain","capitalloss","hoursperweek","nativecountry",
                 "less50kmoreeq50kn"]

print("reviewing dataframe:")
print(Adult.head()) #Getting an overview of the data
print(Adult.shape)
print(Adult.dtypes)

np.median(Adult['fnlwgt']) #Calculating median for final weight column
TooLarge = Adult.loc[:,'fnlwgt'] > 748495 #Setting a value to replace outliers from final weight column with median
Adult.loc[TooLarge,'fnlwgt']=np.median(Adult['fnlwgt']) #replacing values from final weight Column with the median of the final weight column
Adult.loc[:,'fnlwgt']


X = pd.DataFrame()
X.loc[:,0] = Adult.loc[:,'age']
X.loc[:,1] = Adult.loc[:,'hoursperweek']

kmeans = MiniBatchKMeans(n_clusters = 2)
kmeans.fit(X)

centroids = kmeans.cluster_centers_
labels = kmeans.labels_

print(centroids)
print(labels)

colors = ["g.","r."]

for i in range(len(X)):
    print("coordinate:",X[i], "label:", labels[i])
    plt.plot(X.loc[:,0][i],X.loc[:,1][i], colors[labels[i]], markersize = 10)

plt.scatter(centroids[:, 0], centroids[:, 1], marker = "x", s=150, linewidths = 5, zorder = 10)
plt.show()

Когда я запускаю for l oop, я вижу только 2 точки данных, нанесенные на график в матрице рассеяния. Нужно ли вызывать точки иначе, чем созданный фрейм данных?

Answer 1

Вы можете избежать этой проблемы, не запуская al oop для построения каждого из 32 000 пунктов по отдельности, что является плохой практикой и излишним. Вы можете просто передать два массива на plt.scatter(), чтобы создать этот график рассеяния, нет необходимости в oop. Используйте следующие строки:

colors = ["green","red"]

plt.scatter(X.iloc[:,0], X.iloc[:,1], c=np.array(colors)[labels], 
    s = 10, alpha=.1)

plt.scatter(centroids[:, 0], centroids[:, 1], marker = "x", s=150, 
    linewidths = 5, zorder = 10, c=['green', 'red'])
plt.show()

Ваша первоначальная ошибка была вызвана неправильным использованием индексации pandas. Вы можете повторить свою ошибку, выполнив это:

df = pd.DataFrame(list('dasdasas'))
df[1]