Ошибка памяти в Python при запуске CSV 300000 строк - PullRequest
0 голосов
/ 05 июня 2019

Вышеуказанные ошибки появились, когда я попытался запустить следующую программу.Может кто-нибудь объяснить, что такое ошибка памяти и как преодолеть эту проблему?

это пока я пытаюсь запустить файл csv.

Как исправить проблему?

tfidf = TfidfVectorizer(sublinear_tf=True, min_df=5, norm='l2', encoding='latin-1', ngram_range=(1, 2), stop_words='english')
features = tfidf.fit_transform(df.Consumer_complaint_narrative).toarray()
labels = df.category_id
features.shape
MemoryError                               Traceback (most recent call last)
<ipython-input-4-97e32167d120> in <module>
      1 from sklearn.feature_extraction.text import TfidfVectorizer
      2 tfidf = TfidfVectorizer(sublinear_tf=True, min_df=5, norm='l2', encoding='latin-1', ngram_range=(1, 2), stop_words='english')
----> 3 features = tfidf.fit_transform(df.Consumer_complaint_narrative).toarray()
      4 labels = df.category_id
      5 features.shape

F:\Anaconda3\lib\site-packages\scipy\sparse\compressed.py in toarray(self, order, out)
    960         if out is None and order is None:
    961             order = self._swap('cf')[0]
--> 962         out = self._process_toarray_args(order, out)
    963         if not (out.flags.c_contiguous or out.flags.f_contiguous):
    964             raise ValueError('Output array must be C or F contiguous')

F:\Anaconda3\lib\site-packages\scipy\sparse\base.py in _process_toarray_args(self, order, out)
   1185             return out
   1186         else:
-> 1187             return np.zeros(self.shape, dtype=self.dtype, order=order)
   1188 
   1189 

MemoryError: 

1 Ответ

0 голосов
/ 05 июня 2019

Я исправил ошибку памяти, изменив vmoption в pycharm, добавил -Xmx5024m в файл vmoption C: \ Program Files \ JetBrains \ PyCharm 2018.1.4 \ bin \ pycharm64.exe.это решило мою ошибку памяти.я даже использовал огромный файл подкачки в ssd.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...