Как бороться с ошибкой памяти при использовании make_meshgrid () - PullRequest
Новая
       28

Как бороться с ошибкой памяти при использовании make_meshgrid ()

0 голосов
/ 27 апреля 2019

Я пытаюсь визуализировать результаты классификации SVM, используя Matplotlib и Scikit-learn, как обрабатывать MemoryError?!

Для моего примера у меня есть небольшой набор данных, таблица X из 100 примеров и 10 функций (таблица данных целого числа). Я выполнил классификацию, используя SVM Scikit Learn, затем я хочу визуализировать результаты. Но поскольку у меня есть 10 функций, я не могу визуализировать их напрямую, поэтому я использовал PCA после классификации, чтобы уменьшить размерность моих данных. Он работал с набором данных IRIS, но для моих данных он вылетает, давая мне «MemoryError» 


#SVM classification
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size = 0.20)  
svclassifier = SVC(kernel='linear',gamma='auto',max_iter=1000, decision_function_shape='ovo')  
models=svclassifier.fit(X_train, y_train) 
y_pred = svclassifier.predict(X_test)


#Plot funtions
def make_meshgrid(x, y, h=.02):
     x_min, x_max = x.min() - 1, x.max()+1
     y_min, y_max = y.min() - 1, y.max()+1
     xx, yy = np.meshgrid(np.arange(x_min, x_max, h),np.arange(y_min, 
         y_max, h))
     return xx, yy

def plot_contours(ax, clf, xx, yy, **params):
     Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
     Z = Z.reshape(xx.shape)
     out = ax.contourf(xx, yy, Z, **params)
     return out


#PCA for D.R
pca = PCA(n_components=2)
pca.fit(X)
X_pca = pca.transform(X)

print("original shape:   ", X.shape)
print("transformed shape:", X_pca.shape)
X=X_pca

#Ploting results
fig, sub = plt.subplots()
plt.subplots_adjust(wspace=0.4, hspace=0.4)
X0, X1 = X[:, 0].flatten(), X[:, 1].flatten()
xx, yy = make_meshgrid(X0, X1)
plot_contours(sub, models, xx, yy, cmap=plt.cm.coolwarm, alpha=0.8)
sub.scatter(X0, X1, c=Y, cmap=plt.cm.coolwarm, s=20, edgecolors='k')
sub.set_xlim(xx.min(), xx.max())
sub.set_ylim(yy.min(), yy.max())
sub.set_xlabel('Sepal length')
sub.set_ylabel('Sepal width')
sub.set_xticks(())
sub.set_yticks(())
sub.set_title("TITLE")
plt.show()

original shape:    (100, 10)
transformed shape: (100, 2)
MySQL connection is closed
Traceback (most recent call last):
  File "new_data.py", line 123, in <module>
    xx, yy = make_meshgrid(X0, X1)
  File "new_data.py", line 81, in make_meshgrid
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),np.arange(y_min, y_max, h))
  File "/home/.local/lib/python3.5/site-packages/numpy/lib/function_base.py", line 4211, in meshgrid
    output = [x.copy() for x in output]
  File "/home/.local/lib/python3.5/site-packages/numpy/lib/function_base.py", line 4211, in <listcomp>
    output = [x.copy() for x in output]
MemoryError
...