ошибка памяти при иерархической кластеризации Python 3.6 - PullRequest
Новая
       27

ошибка памяти при иерархической кластеризации Python 3.6

0 голосов
/ 02 июля 2018

У меня довольно большой набор данных (матрица 1841000 * 32), на котором я хочу запустить алгоритм иерархической кластеризации. И класс AgglomerativeClustering, и класс FeatureAgglomeration в sklearn.cluster выдают приведенную ниже ошибку. 

    ---------------------------------------------------------------------------
    MemoryError                               Traceback (most recent call last)
    <ipython-input-10-85ab7b694cf1> in <module>()
  1 
  2 
    ----> 3 mat_red = manifold.SpectralEmbedding(n_components=2).fit_transform(mat)
  4 clustering.fit(mat_red,y = None)

 ~/anaconda3/lib/python3.6/site-packages/sklearn/manifold/spectral_embedding_.py in fit_transform(self, X, y)
525         X_new : array-like, shape (n_samples, n_components)
526         """
--> 527         self.fit(X)
528         return self.embedding_

  ~/anaconda3/lib/python3.6/site-packages/sklearn/manifold/spectral_embedding_.py in fit(self, X, y)
498                               "name or a callable. Got: %s") % self.affinity)
499 
--> 500         affinity_matrix = self._get_affinity_matrix(X)
501         self.embedding_ = spectral_embedding(affinity_matrix,
502   n_components=self.n_components,

~/anaconda3/lib/python3.6/site-packages/sklearn/manifold/spectral_embedding_.py in _get_affinity_matrix(self, X, Y)
450     self.affinity_matrix_ = kneighbors_graph(X, self.n_neighbors_,
451                                                          include_self=True,
--> 452                                                          n_jobs=self.n_jobs)
453                 # currently only symmetric affinity_matrix supported
454                 self.affinity_matrix_ = 0.5 * (self.affinity_matrix_ +

~/anaconda3/lib/python3.6/site-packages/sklearn/neighbors/graph.py in kneighbors_graph(X, n_neighbors, mode, metric, p, metric_params, include_self, n_jobs)
101 
102     query = _query_include_self(X, include_self)
--> 103     return X.kneighbors_graph(X=query, n_neighbors=n_neighbors, mode=mode)
104 
105 

~/anaconda3/lib/python3.6/site-packages/sklearn/neighbors/base.py in kneighbors_graph(self, X, n_neighbors, mode)
482         # construct CSR matrix representation of the k-NN graph
483         if mode == 'connectivity':
--> 484             A_data = np.ones(n_samples1 * n_neighbors)
485             A_ind = self.kneighbors(X, n_neighbors, return_distance=False)
486 

   ~/anaconda3/lib/python3.6/site-packages/numpy/core/numeric.py in ones(shape, dtype, order)
186 
187     """
    --> 188     a = empty(shape, dtype, order)
189     multiarray.copyto(a, 1, casting='unsafe')
190     return a

MemoryError:

Моя оперативная память составляет 8 ГБ, и та же ошибка произошла, когда я запустил ее в системе на 64 ГБ. Я понимаю, что иерархическая кластеризация требует больших вычислительных ресурсов и не рекомендуется для больших наборов данных, но мне нужно создать дендрограмму всех моих данных одновременно. Я создаю словарный запас из набора визуальных слов, используя функции ORB. Если есть какой-либо другой способ добиться этого или способ исправить ошибку, пожалуйста, подсветите! Спасибо.

1 Ответ

0 голосов
/ 09 января 2019

Я столкнулся с подобной проблемой при работе агломерационной кластеризации. Мое решение состояло в том, чтобы запустить алгоритм кластеризации на небольшом подмножестве данных, используя train_test_split, а затем использовать KNN, чтобы расширить метки от AC до остальных данных. Работает достаточно хорошо, не уверен, что данные, которые вы используете, поддаются лечению или нет. Мой код для расширения: 

X_train, X_test, y_train, y_test = \
    train_test_split(X, y, 
                     test_size=test_size, random_state=42) 
AC = AgglomerativeClustering(n_clusters=n_clusters, linkage='ward')
AC.fit(X_train)
labels = AC.labels_

KN = KNeighborsClassifier(n_neighbors=n_neighbors)
KN.fit(X_train,labels)
labels2 = KN.predict(X)
...