Оптимизация с помощью Gridseach MAE или с независимым MAE на основе прогноза - PullRequest
Новая
       8

Оптимизация с помощью Gridseach MAE или с независимым MAE на основе прогноза

0 голосов
/ 05 декабря 2018

При выполнении регрессии с MLPRegressor с использованием GridsearchCV я обнаружил, что оценки из GridSearchCV (с использованием neg_mean_absolute_error) и оценки из прогноза (mean_absolute_error (y_test, gs.predict (X_test)) различаются. Я знаю, чтоGridsearchCV максимизирует, и поэтому negMAE на самом деле должен быть отрицательным. Хотя я предполагаю - исходя из выводов из других потоков - что разница между двумя оценками обусловлена ​​перекрестной проверкой, мне интересно, какая из двух оценок является более надежнойДругими словами: на какой счет мне смотреть при настройке параметров? Если бы я сконцентрировался на элементе mean_absolute_error вместо оценки с помощью neg_MAE, мне пришлось бы настраиваться «вручную». 

gs = GridSearchCV(regressor, parameters, 
              cv=10, scoring = "neg_mean_absolute_error",
              verbose=10, refit=True, n_jobs=-1) 


Best score: -42.315280064093805
using: {'activation': 'identity', 'alpha': 0.0001, 'batch_size': 
'auto', 'hidden_layer_sizes': (15, 8, 1), 'learning_rate': 
'invscaling', 'max_iter': 1500, 'random_state': 11, 'solver': 'adam'}


"MAE train:",  mean_absolute_error(y_train, gs.predict(X_train))
"MAE test:",  mean_absolute_error(y_test, gs.predict(X_test))


MAE train:  42.094584344047874
MAE test:  42.95719446785037
...