Ранняя остановка для lightgbm не работает, когда RMSLE является метрикой eval - PullRequest
Новая
       70

Ранняя остановка для lightgbm не работает, когда RMSLE является метрикой eval

0 голосов
/ 06 мая 2020

Я пытаюсь обучить модель ML lightgbm в Python, используя rmsle в качестве eval metri c, но у меня возникает проблема, когда я пытаюсь включить раннюю остановку.

Вот мой код: 

import numpy as np
import pandas as pd
import lightgbm as lgb
from sklearn.model_selection import train_test_split

df_train = pd.read_csv('train_data.csv')
X_train = df_train.drop('target', axis=1)
y_train = np.log(df_train['target'])

sample_params = {
    'boosting_type': 'gbdt',
    'objective': 'regression',
    'random_state': 42,
    'metric': 'rmsle',
    'lambda_l1': 5,
    'lambda_l2': 5,
    'num_leaves': 5,
    'bagging_freq': 5,
    'max_depth': 5,
    'max_bin': 5,
    'min_child_samples': 5,
    'feature_fraction': 0.5,
    'bagging_fraction': 0.5,
    'learning_rate': 0.1,
}

X_train_tr, X_train_val, y_train_tr, y_train_val = train_test_split(X_train, y_train, test_size=0.2, random_state=42)

def train_lightgbm(X_train_tr, y_train_tr, X_train_val, y_train_val, params, num_boost_round, early_stopping_rounds, verbose_eval):
    d_train = lgb.Dataset(X_train_tr, y_train_tr)
    d_val = lgb.Dataset(X_train_val, y_train_val)
    model = lgb.train(
        params=params,
        train_set=d_train,
        num_boost_round=num_boost_round,
        valid_sets=d_val,
        early_stopping_rounds=early_stopping_rounds,
        verbose_eval=verbose_eval,
    )
    return model

model = train_lightgbm(
        X_train_tr, 
        y_train_tr, 
        X_train_val, 
        y_train_val, 
        params=sample_params,
        num_boost_round=500,
        early_stopping_rounds=True,
        verbose_eval=1
)

df_test = pd.read_csv('test_data.csv')
X_test = df_test.drop('target', axis=1)
y_test = np.log(df_test['target'])

df_train['prediction'] = np.exp(model.predict(X_train))
df_test['prediction'] = np.exp(model.predict(X_test))

def rmsle(y_true, y_pred):
    assert len(y_true) == len(y_pred)
    return np.sqrt(np.mean(np.power(np.log1p(y_true + 1) - np.log1p(y_pred + 1), 2)))

metric = rmsle(y_test, df_test['prediction'])
print('Test Metric Value:', round(metric, 4))

Если я изменю early_stopping_rounds=False в методе train_lightgbm, код компилируется без проблем.

Однако, если я установил early_stopping_rounds=True, он выдает следующее:

ValueError: для ранней остановки для оценки требуется по крайней мере один набор данных и оценка c.

Если я запускаю аналогичный скрипт, но использую ' metri c ':' rmse 'вместо' rmsle 'в sample_params, он компилируется, даже когда early_stopping_rounds=True.

Что мне нужно добавить, чтобы lightgbm распознал мой набор данных и eval metri c ? Спасибо!

1 Ответ

2 голосов
/ 06 мая 2020

rmsle не поддерживается как метри c по умолчанию в LGB (проверьте здесь доступный список)

Чтобы применить этот настраиваемый показатель c, вы должны определить пользовательская функция 

def rmsle_lgbm(y_pred, data):

    y_true = np.array(data.get_label())
    score = np.sqrt(np.mean(np.power(np.log1p(y_true) - np.log1p(y_pred), 2)))

    return 'rmsle', score, False

переопределите словарь параметров следующим образом: 

params = {
....
'objective': 'regression',
'metric': 'custom', # <=============
....
}

, а затем для обучения 

model = lgb.train(
        params=params,
        train_set=d_train,
        num_boost_round=num_boost_round,
        valid_sets=d_val,
        early_stopping_rounds=early_stopping_rounds,
        verbose_eval=verbose_eval,
        feval=rmsle_lgbm # <=============
    )

PS: np.log (y + 1) = np.log1p (y) ===> np.log1p (y + 1) кажется ошибкой

...