Есть ли способ загрузить родную модель xgb в spark? - PullRequest
Новая
       14

Есть ли способ загрузить родную модель xgb в spark?

0 голосов
/ 21 апреля 2020

Вот мой сценарий: я тренирую модель XGB с одной машиной и хочу загрузить ее в Spark для обработки данных. Есть ли способ сделать это?

Официальный документ дает способ обучить модель xgb с помощью spark и конвертировать ее в собственную модель. Но это не дает обратного направления.

XGBoostClassificationModel.load поддерживает только пропуск пути модели XGB в версии spark, если он пройдет путь собственной модели, он сообщит об ошибке.

Согласно для github.com/dmlc/xgboost/issues/3689, шаг 1, чтение родного усилителя, 2, построение модели

github.com / dmlc / xgboost / Issues / 3689 разрешает только 2 модели построения, но Я не могу найти способ чтения встроенного усилителя с помощью xgboost-spark 1.0.0

Я думаю, способ загрузки встроенного усилителя можно разделить на 2 этапа:

  1. загрузить встроенный усилитель
  2. создать XGBModel 
import ml.dmlc.xgboost4j.scala.XGBoost
val booster = XGBoost.loadModel(nativeBoostPath)
// create a bridge class according to github.com/dmlc/xgboost/issues/3689
val model = new XGBoostClassificationModelBridge("1",2, booster) // this will report error

Но ошибка отчета 2-го шага

...