Как загрузить модель Kmeans в Pyspark? Я получаю сообщение об ошибке при загрузке

Question

Я пытаюсь загрузить модель Kmeans, которую я сохранил ранее, используя библиотеку pyspark.ml.clustering. Я использую следующую команду для загрузки файла:

model = KMeansModel.load(sc,"KMeans_15thSept_4000")

Однако я получаю следующую ошибку:

"File "/usr/lib/spark/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py", line 319, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.mllib.clustering.KMeansModel.load.
: org.json4s.package$MappingException: Did not find value which can be converted into java.lang.String"

Answer 1

вы сохранили свою модель с помощью библиотеки pyspark.ml.clustering и загружаете вашу модель с помощью библиотеки pyspark.mllib.clustering. Это связано с ошибками в соответствии с этим потоком . Для загрузки модели необходимо сделать следующее -

from pyspark.ml.clustering import KMeansModel

model = KMeansModel.load(save_path_to_model)