Подхожу к этой модели от sklearn
.
LogisticRegressionCV(
solver="sag", scoring="neg_log_loss", verbose=0, n_jobs=-1, cv=10
)
Подгонка дает model.score
(на тренировочном наборе) 0,67 и изменение. Поскольку нет способа (или я не знаю, как) получить доступ к результатам перекрестной проверки, выполненной как часть подбора модели, я запускаю отдельную перекрестную проверку для той же модели с
cross_val_score(model, X, y, cv=10, scoring="neg_log_loss")
Возвращает массив отрицательных чисел
[-0.69517214 -0.69211235 -0.64173978 -0.66429986 -0.77126878 -0.65127196
-0.66302393 -0.65916281 -0.66893633 -0.67605681]
, который, если бы знаки были перевернуты, казался бы в диапазоне, совместимом с результатом тренировки.
Я прочитал обсуждение в выпуске о перекрещивании знака cross_val_score знака данной функции оценки, и казалось, что решение вводит neg_*
метрики, чтобы сделать такое переключение ненужным, и я использую neg_log_loss
. Проблема говорит о mse
, но аргументы, похоже, применимы и к log_loss
. Есть ли способ заставить cross_val_score
возвращать ту же метрику, которая указана в его аргументах? Или это ошибка, которую я должен подать? Или недоразумение с моей стороны и изменение знака все еще ожидаются от cross_val_score
?
Надеюсь, это достаточно конкретный вопрос для SO. Sklearn
Разработчики перенаправляют пользователей в SO для вопросов, которые не являются четкими отчетами об ошибках или требованиями к функциям.
Добавление минимального кода репро для каждого запроса в комментариях (sklearn v 0.19.1 python 2.7):
from numpy.random import randn, seed
from sklearn.linear_model import LogisticRegressionCV
from sklearn.model_selection import cross_val_score
seed (0)
X = randn(100,2)
y = randn(100)>0
model = LogisticRegressionCV(
solver="sag", scoring="neg_log_loss", verbose=0, n_jobs=-1, cv=10
)
model.fit(X=X, y=y)
model.score(X,y)
cross_val_score(model, X, y, cv=10, scoring="neg_log_loss")
С этим кодом он больше не выглядит так, как будто это просто перевернуть знак для метрики. Выходные значения составляют 0,59 для оценки и array([-0.70578452, -0.68773683, -0.68627652, -0.69731349, -0.69198876, -0.70089103, -0.69476663, -0.68279466, -0.70066003, -0.68532253])
для оценки перекрестной проверки.