о результатах обучения модели из Spark Scala ML API - PullRequest
Новая
       19

о результатах обучения модели из Spark Scala ML API

0 голосов
/ 02 ноября 2019

Я новичок в пакете spark scala ML.

После сборки конвейера и подгонки некоторой регрессионной модели к обучающему набору данных (используя команду: val model = pipeline.fit(training)), как можноЯ проверяю / распечатываю данные модели: коэффициенты , статистика , R2 и т. Д.?

Что-то вроде "summary(model)" на языке R?

Спасибо!

1 Ответ

0 голосов
/ 07 ноября 2019

Что вы можете сделать, так это получить соответствующий этап и просмотреть его содержимое: 

val pipelineModel: PipelineModel = pipelineData.fit(data)
val transformedColumns = pipelineModel.stages
val lda = transformedColumns(9).asInstanceOf[LDAModel]
// 9 is the index of the stage in the pipeline. If you just have a single stage, it would be zero then

В приведенном выше случае, когда у вас есть LDAModel, теперь вы можете просматривать статистику.

LDAModel это просто пример. Допустим, если ваш уровень конвейера CountVectorizer, тогда используйте CountVectorizerModel. Если вы используете IDF, то используйте IDFModel.

...