Могу ли я использовать mlflow python API, чтобы зарегистрировать искровой UDF, а затем использовать UDF в коде Spark scala? - PullRequest
Новая
       99

Могу ли я использовать mlflow python API, чтобы зарегистрировать искровой UDF, а затем использовать UDF в коде Spark scala?

2 голосов
/ 25 апреля 2020

Я пытаюсь использовать mlflow для машинного обучения. Я регистрирую модель ML как UDF, используя следующий код python. Вопрос в том, как я могу использовать UDF (test_predict) в моем scala коде? Причина в том, что наш основной код находится в Scala. Проблема в том, что созданная ниже UDF является временной областью UDF и SparkSession. спасибо! 

import sys
import mlflow
from mlflow import pyfunc
import numpy as np
from pyspark import SparkContext, SparkConf
from pyspark import SQLContext
from pyspark.sql.session import SparkSession
from pyspark.sql.types import *

sc=SparkContext()
spark = SparkSession.builder.appName("Python UDF example").getOrCreate()
pyfunc_udf=mlflow.pyfunc.spark_udf(spark=spark, model_uri="./sk",result_type="float")
spark.udf.register("test_predict",pyfunc_udf)
...