GradientBoostingClassifier увеличение потерь поездов и отсутствие сходимости - PullRequest
Новая
       57

GradientBoostingClassifier увеличение потерь поездов и отсутствие сходимости

0 голосов
/ 02 ноября 2019

Я пытаюсь найти модель для моей проблемы классификации по нескольким категориям. У меня есть тренировочный набор из 150 тысяч записей, X_train.shape = (150000, 89) и y_train.shape = (150000,) с целочисленными метками 462 категории. Я хотел бы попробовать sklearn.ensemble.GradientBoostingClassifier, чтобы увидеть, как он работает. Проблема в том, что потери на тренировках растут, а не уменьшаются: 

Starting Learning rate:  0.01
      Iter       Train Loss   Remaining Time 
         1      560305.4652         4495.28m
         2 49997116709991915540048202694656.0000         4821.85m
         3 83239558948150798998862338330957347606091880446602191149465600.0000         4930.27m
         4 83239558948150798998862338330957347606091880446602191149465600.0000         4930.59m
         5 83239558948150798998862338330957347606091880446602191149465600.0000         4894.59m
         6 528425156187558281292347469394171433826548228598829759650220334971581416568393759237556439905294529429284743947837505536.0000         4873.90m
         7 528425156187558281292347469394171433826548228598829759650220334971581416568393759237556439905294529429284743947837505536.0000         4867.15m
         8 528425156187558281292347469394171433826548228598829759650220334971581416568393759237556439905294529429284743947837505536.0000         4860.32m
...

Что я здесь не так делаю? Мой код: 

import sklearn.model_selection
import sklearn.datasets
import sklearn.metrics
import numpy as np
X_train = np.load("X_train_automl.npy")
X_test = np.load("X_val_automl.npy")
y_train = np.load("Y_train_automl.npy")
y_test = np.load("Y_val_automl.npy")
y_train = y_train.astype(int)
y_test = y_test.astype(int)


from sklearn.preprocessing import MinMaxScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report, confusion_matrix
from sklearn.ensemble import GradientBoostingClassifier

lr_list = [0.01, 0.05, 0.1, 0.25, 0.5, 0.75, 1]
#max_depth=2,,  random_state=0, n_estimators=20, 
for learning_rate in lr_list:
    print("Starting Learning rate: ", learning_rate)
    gb_clf = GradientBoostingClassifier(learning_rate=learning_rate, max_features="auto", verbose =2, max_depth=5, n_estimators=500)
    gb_clf.fit(X_train, y_train)

    print("Learning rate: ", learning_rate)
    print("Accuracy score (training): {0:.3f}".format(gb_clf.score(X_train, y_train)))
    print("Accuracy score (validation): {0:.3f}".format(gb_clf.score(X_val, y_val)))

1 Ответ

1 голос
/ 03 ноября 2019

Я обнаружил, что при снижении скорости обучения с 0,01 до 0,001 функция потерь начала уменьшаться ..... Так что, похоже, скорость обучения была слишком высокой ...

...