sklearn.metrics.pairwise cosine_simility двух разреженных матриц, получающих MemoryError - PullRequest
Новая
       20

sklearn.metrics.pairwise cosine_simility двух разреженных матриц, получающих MemoryError

0 голосов
/ 04 февраля 2020

Я пытаюсь создать систему рекомендаций, которая должна найти косинус сходства между всеми фильмами.

hybrid_recommender.cosine_sim.append (cosine_simility (count_matrix, count_matrix)) 

Traceback (most recent call last):

  File "<ipython-input-10-dbe17634b4d6>", line 1, in <module>
    hybrid_recommender.cosine_sim.append(cosine_similarity(count_matrix, count_matrix))

  File "C:\Users\Niranjan Kumar\Anaconda3\lib\site-packages\sklearn\metrics\pairwise.py", line 1176, in cosine_similarity
    dense_output=dense_output)

  File "C:\Users\Niranjan Kumar\Anaconda3\lib\site-packages\sklearn\utils\extmath.py", line 155, in safe_sparse_dot
    return ret.toarray()

  File "C:\Users\Niranjan Kumar\Anaconda3\lib\site-packages\scipy\sparse\compressed.py", line 962, in toarray
    out = self._process_toarray_args(order, out)

  File "C:\Users\Niranjan Kumar\Anaconda3\lib\site-packages\scipy\sparse\base.py", line 1187, in _process_toarray_args
    return np.zeros(self.shape, dtype=self.dtype, order=order)
MemoryError

Размер матрицы немного велик 133594x43714 

count_matrix
Out[17]: 
<133594x43714 sparse matrix of type '<class 'numpy.int64'>'
    with 830942 stored elements in Compressed Sparse Row format>

Есть ли способ достичь этого умножения матрицы, я использую ноутбук windows 10 с i7 и 16 ГБ таран.

...