Ошибка «слишком много индексов для массива» в функции make_scorer в Sklearn - PullRequest
Новая
       27

Ошибка «слишком много индексов для массива» в функции make_scorer в Sklearn

1 голос
/ 04 марта 2020

Цель: использовать потерю оценки Бриера для обучения алгоритма случайного леса с использованием GridSearchCV

Проблема: Вероятность предсказания для цели "y" неверна при использовании make_scorer.

После просмотра этот вопрос , я использую предложенную прокси-функцию для использования GridSearchCV, обученного с потерей оценки Бриера. Ниже приведен пример настройки: 

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import brier_score_loss,make_scorer
from sklearn.ensemble import RandomForestClassifier
import numpy as np

def ProbaScoreProxy(y_true, y_probs, class_idx, proxied_func, **kwargs):
    return proxied_func(y_true, y_probs[:, class_idx], **kwargs)

brier_scorer = make_scorer(ProbaScoreProxy, greater_is_better=False, \
                           needs_proba=True, class_idx=1, proxied_func=brier_score_loss)

X = np.random.randn(100,2)
y = (X[:,0]>0).astype(int)

random_forest = RandomForestClassifier(n_estimators=10)

random_forest.fit(X,y)

probs = random_forest.predict_proba(X)

Теперь передача probs и y напрямую в brier_score_loss или ProbaScoreProxy не приведет к ошибке: 

ProbaScoreProxy(y,probs,1,brier_score_loss)

вывод: 

0.0006

Теперь пропустите через brier_scorer: 

brier_scorer(random_forest,X,y)

вывод: 

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-28-1474bb08e572> in <module>()
----> 1 brier_scorer(random_forest,X,y)

~/anaconda3/lib/python3.6/site-packages/sklearn/metrics/_scorer.py in __call__(self, estimator, X, y_true, sample_weight)
    167                           stacklevel=2)
    168         return self._score(partial(_cached_call, None), estimator, X, y_true,
--> 169                            sample_weight=sample_weight)
    170 
    171     def _factory_args(self):

~/anaconda3/lib/python3.6/site-packages/sklearn/metrics/_scorer.py in _score(self, method_caller, clf, X, y, sample_weight)
    258                                                  **self._kwargs)
    259         else:
--> 260             return self._sign * self._score_func(y, y_pred, **self._kwargs)
    261 
    262     def _factory_args(self):

<ipython-input-25-5321477444e1> in ProbaScoreProxy(y_true, y_probs, class_idx, proxied_func, **kwargs)
      5 
      6 def ProbaScoreProxy(y_true, y_probs, class_idx, proxied_func, **kwargs):
----> 7     return proxied_func(y_true, y_probs[:, class_idx], **kwargs)
      8 
      9 brier_scorer = make_scorer(ProbaScoreProxy, greater_is_better=False,                            needs_proba=True, class_idx=1, proxied_func=brier_score_loss)

IndexError: too many indices for array

Так что, похоже, что-то происходит в make_scorer чтобы изменить размер его вероятностного ввода, но я не вижу, в чем проблема.

Версии: - sklearn: '0.22.2.post1' - numpy: '1.18 .1 '

Обратите внимание, что здесь y является правильным измерением (1-d), и вы, покопавшись в нем, обнаружите, что это измерение y_probs, которое передается в ProbaScoreProxy, что вызывает проблема.

Это просто плохо написанный код из последнего вопроса? Каков в конечном итоге способ получить объект make_score, который что-то вроде GridSearchCV примет для обучения RF?

1 Ответ

0 голосов
/ 06 марта 2020

Цель: использовать потерю оценки Бриера для обучения алгоритма случайного леса, используя GridSearchCV

Для этой цели вы можете использовать строковое значение 'neg_brier_score' in GridSearchCV scoring параметр напрямую.

Например: 

gc = GridSearchCV(random_forest,
                  param_grid={"n_estimators":[5, 10]},
                  scoring="neg_brier_score")

gc.fit(X, y)
print(gc.scorer_) 
# make_scorer(brier_score_loss, greater_is_better=False, needs_proba=True)
...