У меня есть назначение для класса BI, в котором они предоставляют записную книжку Jupyter в качестве базового кода, дело в том, что после запуска импорта и преобразования данных записная книжка Jupyter через «Ошибка памяти», после некоторого анализа показывает ошибку памяти .
Дело в том, что я должен (желательно) использовать ноутбук Jupyter в качестве основы для разработки, поскольку он более интерактивен для задач такого типа.
df1 contains my excel sheet data which has only one column that contains the text.
len(df1)
corpus = []
for i in range(0,24116):
corpus.append(df1['normalized_text'][i])
#corpus
cv = CountVectorizer(stop_words=stopwords.words('english'))
cv.fit(corpus)
X = cv.transform(corpus).toarray()
y = df1.iloc[:,1].values
MemoryErrorTraceback (most recent call last)
<ipython-input-44-7074567ed04c> in <module>()
----> 1 X = cv.transform(corpus).toarray()
2 y = df1.iloc[:,1].values
C:\Users\Pavilion\Anaconda2\lib\site-packages\scipy\sparse\compressed.pyc in toarray(self, order, out)
960 if out is None and order is None:
961 order = self._swap('cf')[0]
--> 962 out = self._process_toarray_args(order, out)
963 if not (out.flags.c_contiguous or out.flags.f_contiguous):
964 raise ValueError('Output array must be C or F contiguous')
C:\Users\Pavilion\Anaconda2\lib\site-packages\scipy\sparse\base.pyc in _process_toarray_args(self, order, out)
1185 return out
1186 else:
-> 1187 return np.zeros(self.shape, dtype=self.dtype, order=order)
1188
1189
MemoryError:
Ошибка возникает в строке 2, я знаю, что это назначение, занимающее память, но это не значит, что 6 ГБ ОЗУ не хватит.
Думаю, это как-то связано с ограничением памяти Jupyter или Chrome, но я не уверен, а также не знаю, как ее решить.
У меня есть Windows 7 ноутбук с 6 ГБ оперативной памяти