может ли сохраненная модель mlflow.spark загружаться как Spark / Scala Pipeline?

Question

Наш разработчик алгоритмов разрабатывает модель машинного обучения с использованием pyspark & ​​mlflow. Он пытается сохранить модель, используя mlflow.spark API, и формат модели - это собственный формат spark MLlib. Можно ли загрузить модель из кода Spark Scala? Кажется, что mlflow довольно ограничен для межъязыкового использования.

Answer 1

MLflow Java / Scala клиент не имеет паритета функций с MLflow Python, поскольку в нем отсутствует концепция проектов и моделей. Однако вы можете читать в модели Spark ML, созданной PySpark, с помощью Scala, используя метод downloadArtifact.

https://mlflow.org/docs/latest/java_api/org/mlflow/tracking/MlflowClient.html#downloadArtifacts - java .lang.String- java .lang.String -

%python
mlflow.spark.log_model(model, "spark-model")

%scala
val modelPath = client.downloadArtifacts(runId, "spark-model/sparkml").getAbsolutePath
import org.apache.spark.ml.PipelineModel
val model = PipelineModel.load(modelPath)
val predictions = model.transform(data)