Kmeans уникальные слова taggs

Question

Я хочу получить список уникальных тегов из кластеризации K-Means. У меня есть следующий код:

def cluster_tagging(variable_a_taggear):

document = result[variable_a_taggear]
vectorizer = TfidfVectorizer(ngram_range=(1, 5))

X = vectorizer.fit_transform(document)

true_k = 180
puntos2= true_k

if model_setting == 'MiniBatchKMeans':
    #model = MiniBatchKMeans(n_clusters=true_k, init='k-means++', max_iter=1000, n_init=1)
    pass
elif model_setting == 'KMeans':
    model = KMeans(n_clusters=true_k, init='k-means++', max_iter=10000000, n_init=1)


model.fit(X)

order_centroids = model.cluster_centers_.argsort()[:, ::-1]
terms = vectorizer.get_feature_names()
#print(terms[:8])

cluster_ = []
key_ = []
ID = []

cluster_col = 'Cluster_%s'%(variable_a_taggear)
keywords_col = 'Keywords_%s'%(variable_a_taggear)
word_cloud = pd.DataFrame(columns=[cluster_col, keywords_col])

for i in range(puntos2):
    print('Cluster %s:' % (i))
    cluster_.append(i)
    key_1 = []
    key_1 = list(set(key_1))
    key_.append(key_1)

    for ind in order_centroids[i, :8]:
        print('%s' % terms[ind])
        terms_ = terms[ind]
        key_1.append(terms_)

print('first key_', key_)
info = {cluster_col:cluster_,keywords_col:key_}

word_cloud = pd.DataFrame(info)
word_cloud.head()


#print('Prediction')

predicted = model.predict(vectorizer.transform(document))
lst2 = result['Ticket ID']
predictions = pd.DataFrame(list(zip(predicted, lst2)), columns =[cluster_col, 'Ticket ID'])

#predictions = pd.DataFrame(predicted,result['Ticket ID'])
predictions.columns = [cluster_col, 'Ticket ID']
#print(predictions)

resultado = pd.merge(predictions, word_cloud, left_on=cluster_col, right_on=cluster_col, how='inner')
print(resultado.head())
return resultado

Как вы можете наблюдать с помощью n-грамм, я получаю повторяющиеся слова как часть разных n-грамм. Например, для одного кластера у меня есть следующие теги: [['fecha iniciar', 'iniciar', 'modificar fecha iniciar cc', 'proceder modificar fecha iniciar', 'proceder modificar fecha iniciar cc', 'fecha iniciar cc', 'iniciar cc', 'fecha'] Как мне получить список уникальных слов для каждого кластера?

Спасибо

Answer 1

Вопрос: Как получить список уникальных слов для каждого кластера?

Вы можете использовать nltk для разделения слов в предложении и numpy.unique чтобы получить уникальные значения в массиве.

import numpy as np
from nltk.tokenize import word_tokenize

cluster_tags  = ['fecha iniciar', 'iniciar', ..., 'fecha']
one_string = ' '.join(cluster_tags)
np.unique(word_tokenize(one_string))

Если вы уверены, что все слова всегда разделены чистым пробелом ' ', вы можете просто разделить их ...

np.unique(' '.join(cluster_tags).split())

Бонус: если хотите, можете посчитать частоту каждого слова.