Как сохранить модель Pyspark в файл Pickle

Question

Как сохранить модель pyspark в файл маринования

  final_data=output_fixed.select('features','CreditabilityIndex')

  test=final_data.randomSplit([0.7,0.3])

  dtc=DecisionTreeClassifier(labelCol='CreditabilityIndex',featuresCol='features')

  dtc_model=dtc.fit(train)

Answer 1

Вы можете сохранить свои модели таким же образом -

lr = LogisticRegression(labelCol="label", featuresCol="features")
lr_model = lr.fit(train2)
lr_model.save("abc.model")

###This is how you can load it back - 
sameModel = LogisticRegressionModel.load("abc.model")

PS - Он будет сохранен в месте вашего файла кода. Тем не менее, иногда вы не можете увидеть фактический файл. Но он будет сохранен для загрузки снова. Так что не о чем беспокоиться.

Answer 2

Вы можете сохранить модель, используя метод save(), где spark - это объект SparkContext: документы

dtc_model.save(spark, "/path/to/file")