Как я могу использовать модель pmml в скрипте PySpark?

Question

У меня есть xgboost модель, которая была обучена на чистом Python и преобразована в pmml формат.Теперь мне нужно использовать эту модель в PySpark скрипте, но у меня нет идей, как мне это реализовать.Существуют ли методы, которые позволяют импортировать pmml модель в Python и использовать ее для прогнозирования?Спасибо за любые предложения.

BR,
Владимир

Answer 1

Вы можете использовать PyPMML-Spark для импорта PMML в сценарии PySpark, например:

from pypmml_spark import ScoreModel

model = ScoreModel.fromFile('the/pmml/file/path')
score_df = model.transform(df)

Answer 2

Spark не поддерживает импорт из PMML напрямую.Хотя я не сталкивался с импортером PMML для pyspark, есть один для java (https://github.com/jpmml/jpmml-evaluator-spark).1005 *