Исключение рекурсивных функций и поиск в сетке для SVR с использованием scikit-learn - PullRequest
Новая
       68

Исключение рекурсивных функций и поиск в сетке для SVR с использованием scikit-learn

0 голосов
/ 10 апреля 2020

Я использую SVR для решения проблемы прогнозирования, и я хотел бы сделать выбор функций, а также поиск гиперпараметров. Я пытаюсь использовать как RFECV, так и GridSearchCV, но получаю ошибки из моего кода.

Мой код выглядит следующим образом: 

def svr_model(X, Y):
estimator=SVR(kernel='rbf')
param_grid={
    'C': [0.1, 1, 100, 1000],
    'epsilon': [0.0001, 0.0005, 0.001, 0.005, 0.01, 0.05, 0.1, 0.5, 1, 5, 10],
    'gamma': [0.0001, 0.001, 0.005, 0.1, 1, 3, 5]
}

selector = RFECV(estimator, step = 1, cv = 5)

gsc = GridSearchCV(
    selector,
    param_grid,
    cv=5, scoring='neg_root_mean_squared_error', verbose=0, n_jobs=-1)

grid_result = gsc.fit(X, Y)


best_params = grid_result.best_params_

best_svr = SVR(kernel='rbf', C=best_params["C"], epsilon=best_params["epsilon"], gamma=best_params["gamma"],
               coef0=0.1, shrinking=True,
               tol=0.001, cache_size=200, verbose=False, max_iter=-1)

scoring = {
           'abs_error': 'neg_mean_absolute_error',
           'squared_error': 'neg_mean_squared_error',
           'r2':'r2'}

scores = cross_validate(best_svr, X, Y, cv=10, scoring=scoring, return_train_score=True, return_estimator = True)
return scores

Ошибки 

ValueError: Invalid parameter C for estimator RFECV(cv=5,
  estimator=SVR(C=1.0, cache_size=200, coef0=0.0, degree=3, epsilon=0.1,
                gamma='scale', kernel='rbf', max_iter=-1, shrinking=True,
                tol=0.001, verbose=False),
  min_features_to_select=1, n_jobs=None, scoring=None, step=1, verbose=0). Check the list of available parameters with `estimator.get_params().keys()`.

Я довольно новичок в использовании машинного обучения, любая помощь будет высоко оценена.

1 Ответ

1 голос
/ 10 апреля 2020

Поиск по сетке запускает selector, инициализированный различными комбинациями параметров, переданных в param_grid. Но в этом случае мы хотим, чтобы поиск по сетке инициализировал оценщик внутри selector. Это достигается с помощью стиля именования словаря <estimator>__<parameter>. Следуйте документам для более подробной информации.

Рабочий код 

estimator=SVR(kernel='linear')
selector = RFECV(estimator, step = 1, cv = 5)

gsc = GridSearchCV(
    selector,
    param_grid={
        'estimator__C': [0.1, 1, 100, 1000],
        'estimator__epsilon': [0.0001, 0.0005],
        'estimator__gamma': [0.0001, 0.001]},

    cv=5, scoring='neg_mean_squared_error', verbose=0, n_jobs=-1)

grid_result = gsc.fit(X, Y)

Две другие ошибки в вашем коде

  1. neg_root_mean_squared_error не является допустимым методом оценки
  2. rbf Ядро не возвращает важность функции, поэтому вы не можете использовать это ядро, если хотите использовать RFECV
...