LeaveOneOut для определения k knn - PullRequest
Новая
       42

LeaveOneOut для определения k knn

0 голосов
/ 16 декабря 2018

Я хочу знать лучшее k для k-ближайшего соседа.Я использую LeaveOneOut, чтобы разделить мои данные на обучающие и тестовые наборы.В приведенном ниже коде у меня есть 150 записей данных, поэтому я получаю 150 различных наборов поездов и тестов.K должно быть в диапазоне от 1 до 40.

Я хочу построить среднюю ошибку классификации перекрестной проверки как функцию k, также посмотреть, какое k является лучшим для KNN.

Здесьмой код: 

import scipy.io as sio
import seaborn as sn
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import LeaveOneOut    
error = []
array = np.array(range(1,41))

dataset = pd.read_excel('Data/iris.xls')
X = dataset.iloc[:, :-1].values  
y = dataset.iloc[:, 4].values

loo = LeaveOneOut()
loo.get_n_splits(X)
for train_index, test_index in loo.split(X):
    #print("TRAIN:", train_index, "TEST:", test_index)
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]
    #print(X_train, X_test, y_train, y_test)

    for i in range(1, 41):  
        classifier = KNeighborsClassifier(n_neighbors=i)  
        classifier.fit(X_train, y_train)
        y_pred = classifier.predict(X_test)
        error.append(np.mean(y_pred != y_test))

plt.figure(figsize=(12, 6))  
plt.plot(range(1, 41), error, color='red', linestyle='dashed', marker='o', markerfacecolor='blue', markersize=10)
plt.title('Error Rate K Value')  
plt.xlabel('K Value')  
plt.ylabel('Mean Error')

1 Ответ

0 голосов
/ 17 декабря 2018

Вы вычисляете ошибку при каждом прогнозе, поэтому у вас есть 6000 точек в вашем массиве error.Вам нужно собрать прогнозы всех точек в сгибе для данного 'n_neighbors' и затем вычислить ошибку для этого значения.

Вы можете сделать это: 

# Loop over possible values of "n_neighbors"
for i in range(1, 41):  

    # Collect the actual and predicted values for all splits for a single "n_neighbors"
    actual = []
    predicted = []


    for train_index, test_index in loo.split(X):
        #print("TRAIN:", train_index, "TEST:", test_index)
        X_train, X_test = X[train_index], X[test_index]
        y_train, y_test = y[train_index], y[test_index]

        classifier = KNeighborsClassifier(n_neighbors=i)  
        classifier.fit(X_train, y_train)
        y_pred = classifier.predict(X_test)

        # Append the single predictions and actual values here.
        actual.append(y_test[0])
        predicted.append(y_pred[0])

    # Outside the loop, calculate the error.
    error.append(np.mean(np.array(predicted) != np.array(actual)))

ОстальныеКод в порядке.

Существует более компактный способ сделать это, если вы используете cross_val_predict

from sklearn.model_selection import cross_val_predict

for i in range(1, 41):  

    classifier = KNeighborsClassifier(n_neighbors=i)  
    y_pred = cross_val_predict(classifier, X, y, cv=loo)
    error.append(np.mean(y_pred != y))
...