Ошибка значения для CatboostRegressor с StraifiedKFold - PullRequest
Новая
       101

Ошибка значения для CatboostRegressor с StraifiedKFold

0 голосов
/ 24 октября 2019

Я только начал изучать Catboost и попытался использовать CatboostRegressor с StraifiedKFold, но столкнулся с ошибкой:

Вот отредактированный пост с полным блоком кодов и ошибкой для пояснения. Кроме того, также пробовал с for для i (train_index, test_index) в enumerate (fold.split (X, y)): не сработало. 

from sklearn.model_selection import KFold,StratifiedKFold
from sklearn.metrics import mean_squared_log_error
from sklearn.preprocessing import LabelEncoder
from catboost import Pool, CatBoostRegressor
fold=StratifiedKFold(n_splits=5,shuffle=True,random_state=42)

err = []
y_pred = []
for train_index, test_index in fold.split(X,y):
#for i, (train_index, test_index) in enumerate(fold.split(X,y)):
    X_train, X_val = X.iloc[train_index], X.iloc[test_index]
    y_train, y_val = y[train_index], y[test_index]
    _train = Pool(X_train, label = y_train)
    _valid = Pool(X_val, label = y_val)

    cb = CatBoostRegressor(n_estimators = 20000, 
                     reg_lambda = 1.0,
                     eval_metric = 'RMSE',
                     random_seed = 42,
                     learning_rate = 0.01,
                     od_type = "Iter",
                     early_stopping_rounds = 2000,
                     depth = 7,
                     cat_features = cate,
                     bagging_temperature = 1.0)
    cb.fit(_train,cat_features=cate,eval_set = _valid, early_stopping_rounds = 2000, use_best_model = True, verbose_eval = 100) 

    p = cb.predict(X_val)
    print("err: ",rmsle(y_val,p))
    err.append(rmsle(y_val,p))
    pred = cb.predict(test_df)
    y_pred.append(pred)
predictions = np.mean(y_pred,0)

ValueError                                Traceback (most recent call last)
<ipython-input-21-3a0df0c7b8d6> in <module>()
      7 err = []
      8 y_pred = []
----> 9 for train_index, test_index in fold.split(X,y):
     10 #for i, (train_index, test_index) in enumerate(fold.split(X,y)):
     11     X_train, X_val = X.iloc[train_index], X.iloc[test_index]

~/anaconda3/envs/tensorflow_p36/lib/python3.6/site-    packages/sklearn/model_selection/_split.py in split(self, X, y, groups)
    333                 .format(self.n_splits, n_samples))
    334 
--> 335         for train, test in super().split(X, y, groups):
    336             yield train, test
    337 

~/anaconda3/envs/tensorflow_p36/lib/python3.6/site-   packages/sklearn/model_selection/_split.py in split(self, X, y, groups)
     87         X, y, groups = indexable(X, y, groups)
     88         indices = np.arange(_num_samples(X))
---> 89         for test_index in self._iter_test_masks(X, y, groups):
     90             train_index = indices[np.logical_not(test_index)]
     91             test_index = indices[test_index]

~/anaconda3/envs/tensorflow_p36/lib/python3.6/site-packages/sklearn/model_selection/_split.py in _iter_test_masks(self, X, y, groups)
    684 
    685     def _iter_test_masks(self, X, y=None, groups=None):
--> 686         test_folds = self._make_test_folds(X, y)
    687         for i in range(self.n_splits):
    688             yield test_folds == i

~/anaconda3/envs/tensorflow_p36/lib/python3.6/site-packages/sklearn/model_selection/_split.py in _make_test_folds(self, X, y)
    639             raise ValueError(
    640                 'Supported target types are: {}. Got {!r instead.'.format(
--> 641                     allowed_target_types, type_of_target_y))
    642 
    643         y = column_or_1d(y)

ValueError: Supported target types are: ('binary', 'multiclass'). Got 'continuous' instead.

1 Ответ

0 голосов
/ 25 октября 2019

Вы получаете ошибку по очень фундаментальной причине из базовой теории ML: стратификация определяется только для классификации , чтобы обеспечить равное представление всех классов в разбиении; бессмысленно в регрессии. Внимательно прочитав сообщение об ошибке, вы сможете убедить себя в том, что его значение заключается в том, что 'continous' цели (т.е. регрессия) не поддерживаются, только 'binary' или 'multiclass' (т.е. классификация);но это не особенность scikit-learn, а фундаментальная проблема.

Соответствующая подсказка также включена в документацию (выделение добавлено):

Кросс-валидатор стратифицированных K-Fold

Предоставляет индексы поезда / теста для разделения данных в наборах поездов / тестов.

Этот объект перекрестной проверки представляет собой вариант KFold, который возвращает стратифицированные складки. Сгибы создаются путем сохранения процента выборок для каждого класса .

. Вот небольшая демонстрация, адаптирующая пример из документации, но изменяющая цели y набыть непрерывным (регрессия) вместо дискретного (классификация): 

import numpy as np
from sklearn.model_selection import StratifiedKFold
X = np.array([[1, 2], [3, 4], [1, 2], [3, 4]])
y = np.array([0.1, 0.5, -1.1, 1.2]) # continuous targets, i.e. regression problem
skf = StratifiedKFold(n_splits=2)

for train_index, test_index in skf.split(X,y):
    print("something")
[...]
ValueError: Supported target types are: ('binary', 'multiclass'). Got 'continuous' instead.

Таким образом, просто говоря, вы не можете фактически использовать StratifiedKFold в вашей (регрессии) настройке;измените его на простой KFold и двигайтесь дальше ...

...