Параметры конвейера Scikit - fit () получил неожиданный ключевой аргумент «гамма» - PullRequest
Новая
       39

Параметры конвейера Scikit - fit () получил неожиданный ключевой аргумент «гамма»

2 голосов
/ 10 марта 2020

Включен минимальный жизнеспособный пример;)

Я хочу просто указать использовать параметры из GridSearchCV для использования конвейера . 

#I want to create a SVM using a Pipeline, and validate the model (measure the accuracy)
#import libraries
from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import pandas as pd

#load test data
data = load_iris()
X_trainset, X_testset, y_trainset, y_testset = train_test_split(data['data'], data['target'], test_size=0.2)

#And here we prepare the pipeline
pipeline = Pipeline([('scaler', StandardScaler()), ('SVM', SVC())])
grid = GridSearchCV(pipeline, param_grid={'SVM__gamma':[0.1,0.01]}, cv=5)
grid.fit(X_trainset, y_trainset) 
# (Done! Now I can print the accuracy and other metrics)

#Now I want to put together training set and validation set, to train the model before deployment
#Of course, I want to use the best parameters found by GridSearchCV
big_x = np.concatenate([X_trainset,X_testset])
big_y = np.concatenate([y_trainset,y_testset])

Здесь все работает без проблем. Затем я пишу эту строку: 

model2 = pipeline.fit(big_x,big_y, grid.best_params_)

Ошибка! 

TypeError: fit() takes from 2 to 3 positional arguments but 4 were given

Затем я попытался быть более явным: 

model2 = pipeline.fit(big_x,big_y,fit_params=grid.best_params_)

Ошибка снова! 

ValueError: Pipeline.fit does not accept the fit_params parameter. You can pass parameters to specific steps of your pipeline using the stepname__parameter format, e.g. `Pipeline.fit(X, y, logisticregression__sample_weight=sample_weight)`.

Затем я попытался (из любопытства) вручную вставить параметр: 

pipeline.fit(big_x,big_y, SVM__gamma= 0.01) #Note: I may need to insert many parameters, not just one

Ошибка снова: (

TypeError: fit() got an unexpected keyword argument 'gamma'

Я не могу понять, почему он не находит Гамма. Я решил напечатать pipe.get_params (), чтобы иметь представление. 

In [11]: print(pipeline.get_params())
Out [11]: 
{'memory': None, 
 'steps': [('scaler', StandardScaler(copy=True, with_mean=True, with_std=True)), ('SVM', SVC(C=1.0, break_ties=False, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='scale', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True,
tol=0.001, verbose=False))], 
 'verbose': False, 
 'scaler': StandardScaler(copy=True, with_mean=True, with_std=True), 
 'SVM': SVC(C=1.0, break_ties=False, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='scale', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False), 
'scaler__copy': True, 'scaler__with_mean': True, 'scaler__with_std': True, 'SVM__C': 1.0, 'SVM__break_ties': False, 'SVM__cache_size': 200, 'SVM__class_weight': None, 'SVM__coef0': 0.0, 'SVM__decision_function_shape': 'ovr', 'SVM__degree': 3, 'SVM__gamma': 'scale', 'SVM__kernel': 'rbf', 'SVM__max_iter': -1, 'SVM__probability': False, 'SVM__random_state': None, 'SVM__shrinking': True, 'SVM__tol': 0.001, 'SVM__verbose': False}

Я могу найти SVM__gamma в списке! Так почему же возникает ошибка?

Версия Scikit: 0.22.1

Версия python: 3.7.6

1 Ответ

3 голосов
/ 10 марта 2020

.fit(), например, при вызове функции .fit() класса SV C, не имеет параметра, называемого гамма . Когда вы вызываете pipeline.fit(SVM__gamma), он передает гамма-параметр в вызов .fit() шага SVM, который не будет работать.

Вы устанавливаете параметры в scikit-learn, используя .set_params () функции. На самом низком уровне (IE против SV C) вы можете просто сделать SVC.set_params(gamma='blah'). В конвейере вы будете следовать той же нотации двойного подчеркивания, которую используете в сетке параметров, поэтому pipeline.set_params(SVM__gamma=blah),

Если вы устанавливаете только один параметр для одного шага вашего конвейера, это обычно удобно получить доступ к шагу напрямую с помощью pipeline.named_steps.SVM.set_params(gamma='blah'), или же использовать pipeline.set_params(**grid.best_params_), чтобы использовать лучшие параметры поиска по сетке. (нотация ** взрывает изречение {'A': 1, 'B': 2} в A = 1, B = 2 для вас)

Вот фрагмент сценария, который делает то, что я думаю, что вы пытаетесь сделать (хотя и с разными алгоритмами): 

# Set the classifier as an XGBClassifier

clf_pipeline = Pipeline(
    steps=[
        ('preprocessor', preprocessor),
        ('classifier', XGBClassifier(n_jobs=6, n_estimators=20))
    ]
)


# In[41]:

# Cross validation: 60 iterations with 3 fold CV.

n_features_after_transform = clf_pipeline.named_steps.preprocessor.fit_transform(df).shape[1]

param_grid = {
    'classifier__max_depth':stats.randint(low=2, high=100),
    'classifier__max_features':stats.randint(low=2, high=n_features_after_transform),
    'classifier__gamma':stats.uniform.rvs(0, 0.25, size=10000),
    'classifier__subsample':stats.uniform.rvs(0.5, 0.5, size=10000),
    'classifier__reg_alpha':stats.uniform.rvs(0.5, 1., size=10000),
    'classifier__reg_lambda':stats.uniform.rvs(0.5, 1., size=10000)
}

rscv = RandomizedSearchCV(
    clf_pipeline,
    param_grid,
    n_iter=60,
    scoring='roc_auc',
    cv=StratifiedKFold(n_splits=3, shuffle=True)

)

rscv.fit(df, y)


# In[42]:


# Set the tuned best params and beef up the number of estimators.

clf_pipeline.set_params(**rscv.best_params_)
clf_pipeline.named_steps.classifier.set_params(n_estimators=200)

Короче говоря, вы можете установить отдельный параметр, открыв класс, для которого вы хотите установить параметр в конвейере named_steps. Чтобы установить параметры, которые ваш Grid Search определил как наилучшие, используйте pipeline.set_params(**grid.best_params_)

...