Кривая обучения Склеарн

Question

Я пытался использовать алгоритм Random Forest для набора данных Boston , чтобы предсказать цены на жилье medv с помощью RandomForestRegressor .

от Sklearn.Тестовое разделение данных:

'''Train Test Split of Data'''
from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state = 1)

Dimensions of Train/Test split X.shape: (489, 11) X_train.shape: (366, 11) X_test.shape: (123, 11)

Ниже моя настроенная модель случайного леса:

#1. import the class/model
from sklearn.ensemble import RandomForestRegressor

#2. Instantiate the estimator
RFReg = RandomForestRegressor(max_features = 'auto', random_state = 1, n_jobs = -1, max_depth = 14, min_samples_split = 2, n_estimators = 550) 

#3. Fit the model with data aka model training
RFReg.fit(X_train, y_train)

#4. Predict the response for a new observation
y_pred = RFReg.predict(X_test)


y_pred_train = RFReg.predict(X_train)

Просто чтобы оценить, какхорошо, что модель работает, я попробовал кривую обучения Склеарна с кодом ниже

train_sizes = [1, 25, 50, 100, 200, 390] # 390 is 80% of shape(X)

from sklearn.model_selection import learning_curve
def learning_curves(estimator, X, y, train_sizes, cv):
    train_sizes, train_scores, validation_scores = learning_curve(
                                                 estimator, X, y, train_sizes = train_sizes,
                                                 cv = cv, scoring = 'neg_mean_squared_error')
    #print('Training scores:\n\n', train_scores)
    #print('\n', '-' * 70) # separator to make the output easy to read
    #print('\nValidation scores:\n\n', validation_scores)
    train_scores_mean = -train_scores.mean(axis = 1)
    print(train_scores_mean)
    validation_scores_mean = -validation_scores.mean(axis = 1)
    print(validation_scores_mean)

    plt.plot(train_sizes, train_scores_mean, label = 'Training error')
    plt.plot(train_sizes, validation_scores_mean, label = 'Validation error')

    plt.ylabel('MSE', fontsize = 14)
    plt.xlabel('Training set size', fontsize = 14)
    title = 'Learning curves for a ' + str(estimator).split('(')[0] + ' model'
    plt.title(title, fontsize = 18, y = 1.03)
    plt.legend()
    plt.ylim(0,40)

Если вы заметили, я прошел X, y, а не X_train, y_train в learning_curve.

У меня были ниже вопросы относительно learning_curve

1. Я просто не понимаю, передает ли весь набор данных вместо того, чтобы только train subset был верным или нет

2. Изменяется ли размер набора тестовых данных в соответствии с размером набора данных о поездах, как указано в списке train_sizes, или он всегда фиксирован (например, в моем случае это будет 25% в зависимости от разделения на поезд / тест, который составляет 123 образца)

   • Когда train dataset size = 1 будет размер тестовых данных 488 или 123 (размер X_test)
   • Когда train dataset size = 25 будет размер тестовых данных 464или будет 123 (размер X_test)
   • Когда train dataset size = 50 будет размер тестовых данных будет 439, или будет 123 (размер X_test)

Я немного смущен размерами поезда / теста в learning_curve функции

Answer 1

Вы определенно хотите использовать только свой тренировочный тест, поэтому вызывайте эту функцию следующим образом, потому что вы хотите увидеть, как происходит обучение с данными, которые вы фактически используете:

learning_curves(estimator=RFReg, X=X_train, y=y_size, train_sizes= train_sizes)