Ранняя остановка с помощью mmlspark LightGBMClassifier - PullRequest
Новая
       18

Ранняя остановка с помощью mmlspark LightGBMClassifier

0 голосов
/ 21 ноября 2018

Я успешно смог обучить модель xgboost, используя раннюю остановку против "eval_set" в Python.Я сейчас пытаюсь сделать то же самое, но с LightGBM в pyspark.

Это работает в Python: 

model = xgb.XGBClassifier(learning_rate = 0.05, n_estimators=2000)
eval_set  = [(X_test, Y_test)]
model.fit(X_train, Y_train, eval_set=eval_set, eval_metric="auc", early_stopping_rounds=50, verbose = True)

В pyspark (Databricks) я создал набор данных, содержащий столбец функций и столбец меток, которые требуются в библиотеке mmlspark.Я получил это на работу: 

from mmlspark import LightGBMClassifier model =
LightGBMClassifier(featuresCol = 'features', labelCol = 'label',
learningRate = 0.05, numIterations = 100) model.fit(train)

Можно ли пораньше прекратить работу в библиотеке LightGBMClassifier с набором тестовых тестов?

...