загрузить модель CrossValidator в Spark 2.2.1 - PullRequest
Новая
       31

загрузить модель CrossValidator в Spark 2.2.1

0 голосов
/ 20 марта 2019

У меня Spark версии 2.2.1 (кластер) и Spark 2.4 (мой ноутбук).Я могу обучить и сохранить модель CrossValidator как в кластере, так и на своем ноутбуке.Но когда я пытаюсь загрузить его обратно, в Spark 2.4, CrossValidatorModel.load работает, но с Spark 2.2.1, CrossValidatorModel не имеет метода загрузки.Как я могу загрузить его?Пример кода приведен ниже: данные взяты из Spark GitHub Repo 

training = spark.read.format("libsvm").load("sample_multiclass_classification_data.txt")
logreg = LogisticRegression(maxIter = 200)
paramGrid_logreg = ParamGridBuilder().addGrid(logreg.regParam, np.linspace(0.0, 1, 11))\
                                     .addGrid(logreg.elasticNetParam, np.linspace(0, 1, 11)).build()
crossval_logreg = CrossValidator(estimator = logreg, 
                                  estimatorParamMaps = paramGrid_logreg, 
                                  evaluator = BinaryClassificationEvaluator(), numFolds = 10) 
cvModel_logreg = crossval_logreg.fit(training)
cvModel_logreg.save("cvModel_logreg_numFolds10")

сейчас, со свечой 2.4, я могу загрузить его, используя: 

CrossValidatorModel.load('cvModel_logreg_numFolds10')

Но вSpark 2.2 CrossValidatorModel имеет метод загрузки.Любой способ прочитать это?

1 Ответ

0 голосов
/ 17 июня 2019

К сожалению, я думаю, что вы не можете.Я также столкнулся с той же проблемой, в конце концов я переключился на версию 2.3, которая содержит функцию загрузки.

...