Как получить метрики оценки, используя pyspark и jupyter? - PullRequest
Новая
       71

Как получить метрики оценки, используя pyspark и jupyter?

0 голосов
/ 12 января 2019

Я новичок в машинном обучении и в питоне. Я работаю над задачей, используя логистическую регрессию. пока я пытаюсь выяснить, как получить метрики оценки с помощью записной книжки PySpark и Jupiter, я получаю следующую ошибку. 

from pyspark.mllib.util import MLUtils
from pyspark.mllib.evaluation import MulticlassMetrics
# Compute raw scores on the test set
predictionAndLabels = test.rdd.map(lambda lp: (float(lr_model.predict(lp.features)), lp.label))
metrics = MulticlassMetrics(predictionAndLabels)

Ошибка 

PicklingError: Could not serialize object: Py4JError: An error occurred while calling o123.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
    at py4j.Gateway.invoke(Gateway.java:274)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)
...