Pyspark - ошибка при загрузке модели ML - PullRequest
Новая
       22

Pyspark - ошибка при загрузке модели ML

0 голосов
/ 24 августа 2018

Я обучил модель PySpark ML работе, отправленной с использованием spark-submit. Я не могу загрузить эту модель с другой работой. Я использую spark 2.2.0 и python 2.6

Мой код 

from pyspark.sql import SparkSession
from pyspark.ml.regression import LinearRegression
spark = SparkSession.builder.appName("load_model").enableHiveSupport().getOrCreate()

model_path = "/home/lr_model"
lr_model = LinearRegression.load(model_path)
print("Coefficients: " + str(lr_model.coefficients))
print("Intercept: " + str(lr_model.intercept))

И непонятное сообщение об ошибке я получаю:

Traceback (последний последний вызов):

Файл "load_model.py", строка 6, в lr_model = LinearRegression.read (). Load (model_path)
Файл "/hadoop/yarn/local/usercache/appcache/pyspark.zip/pyspark/ml/util.py", строка 176, в файле загрузки "/Hadoop/yarn/local/usercache/appcache/py4j-0.10.1-src.zip/py4j/java_gateway.py", строка 933, вызов Файл "/Hadoop/yarn/local/usercache/appcache/pyspark.zip/pyspark/sql/utils.py", строка 63, в файле deco "/Hadoop/yarn/local/usercache/appcache/py4j-0.10.1-src.zip/py4j/protocol.py", строка 312, в get_return_value py4j.protocol.Py4JJavaError: ошибка произошло во время вызова o41.load. : java.lang.NoSuchMethodException: org.apache.spark.ml.regression.LinearRegressionModel. (java.lang.String) в java.lang.Class.getConstructor0 (Class.java:3082) в java.lang.Class.getConstructor (Class.java:1825) в org.apache.spark.ml.util.DefaultParamsReader.load (ReadWrite.scala: 337) в sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43) в java.lang.reflect.Method.invoke (Method.java:498) в py4j.reflection.MethodInvoker.invoke (MethodInvoker.java:237) в py4j.reflection.ReflectionEngine.invoke (ReflectionEngine.java:357) в py4j.Gateway.invoke (Gateway.java:280) в py4j.commands.AbstractCommand.invokeMethod (AbstractCommand.java:128) на py4j.commands.CallCommand.execute (CallCommand.java:79) на py4j.GatewayConnection.run (GatewayConnection.java:211) в java.lang.Thread.run (Thread.java:748)

...