Проблема прохождения конвейера через вложенные RFECV и GridSearchCV

Question

Я пытаюсь выполнить выбор объектов и поиск по сетке для внутреннего цикла вложенного резюме в sklearn. Хотя я могу передать конвейер в качестве оценщика в RFECV, я получаю ошибку при подгонке, когда передаю RFECV в качестве оценщика в GridSearchCV.

. Я обнаружил, что при изменении именимодели в конвейере в «оценщик» перемещает ошибку в конвейер с «регрессией неверного параметра», а не в RFECV, где, как бы я ни назвал, модель была недопустимым параметром.

Я с помощью rfcv.get_params().keys() и pipeline.get_params().keys() проверил, что параметры, которые я вызываю, существуют.

Я не получаю эту ошибку, если я называю SGDRegressor() непосредственно как «оценщик»и полностью игнорировать конвейер, но для этой модели требуется масштабирование и логарифмическое преобразование переменной Y.

from sklearn.compose import TransformedTargetRegressor
from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV
from sklearn.feature_selection import RFECV
from sklearn.preprocessing import MinMaxScaler
from sklearn.linear_model import SGDRegressor

import numpy as np
# random sample data
X = np.random.rand(100,2)
y = np.random.rand(100)

#passing coef amd importance through pipe and TransformedTargetRegressor
class MyPipeline(Pipeline):
    @property
    def coef_(self):
        return self._final_estimator.coef_
    @property
    def feature_importances_(self):
        return self._final_estimator.feature_importances_

class MyTransformedTargetRegressor(TransformedTargetRegressor):
    @property
    def feature_importances_(self):
        return self.regressor_.feature_importances_

    @property
    def coef_(self):
        return self.regressor_.coef_

# build pipeline
pipeline = MyPipeline([ ('scaler', MinMaxScaler()),
                     ('estimator', MyTransformedTargetRegressor(regressor=SGDRegressor(), func=np.log1p, inverse_func=np.expm1))]) 

# define tuning grid
parameters = {"estimator__regressor__alpha": [1e-5,1e-4,1e-3,1e-2,1e-1], 
              "estimator__regressor__l1_ratio": [0.001,0.25,0.5,0.75,0.999]} 

# instantiate inner cv
inner_kv = KFold(n_splits=5, shuffle=True, random_state=42)
rfcv = RFECV(estimator=pipeline, step=1, cv=inner_kv, scoring="neg_mean_squared_error")

cv = GridSearchCV(estimator=rfcv, param_grid=parameters, cv=inner_kv, iid=True,
                  scoring= "neg_mean_squared_error", n_jobs=-1, verbose=True)
cv.fit(X,y)

Я получаю следующую ошибку и могу подтвердить, что регрессор является параметром для конвейера оценки:

ValueError: Invalid parameter regressor for estimator MyPipeline(memory=None,
           steps=[('scaler', MinMaxScaler(copy=True, feature_range=(0, 1))),
                  ('estimator',
                   MyTransformedTargetRegressor(check_inverse=True,
                                                func=<ufunc 'log1p'>,
                                                inverse_func=<ufunc 'expm1'>,
                                                regressor=SGDRegressor(alpha=0.0001,
                                                                       average=False,
                                                                       early_stopping=False,
                                                                       epsilon=0.1,
                                                                       eta0=0.01,
                                                                       fit_intercept=True,
                                                                       l1_ratio=0.15,
                                                                       learning_rate='invscaling',
                                                                       loss='squared_loss',
                                                                       max_iter=1000,
                                                                       n_iter_no_change=5,
                                                                       penalty='l2',
                                                                       power_t=0.25,
                                                                       random_state=None,
                                                                       shuffle=True,
                                                                       tol=0.001,
                                                                       validation_fraction=0.1,
                                                                       verbose=0,
                                                                       warm_start=False),
                                                transformer=None))],
           verbose=False). Check the list of available parameters with `estimator.get_params().keys()`.

Спасибо

Answer 1

Это должно быть estimator__estimator__regressor, потому что у вас есть конвейер внутри rfecv.

Попробуйте это!

parameters = {"estimator__estimator__regressor__alpha": [1e-5,1e-4,1e-3,1e-2,1e-1], 
              "estimator__estimator__regressor__l1_ratio": [0.001,0.25,0.5,0.75,0.999]} 

Примечание: наличие вложенного резюме - неправильный подход,Может быть, вы можете сделать выбор функции отдельно, а затем провести обучение модели.