Метрики оценки для задачи мультиклассовой классификации Spark ML

Question

Я ищу пример классификации Multiclass с использованием Spark-Scala, но пока не могу найти.В частности, я хочу обучить классификационную модель и увидеть все связанные метрики для данных обучения и тестов.

Поддерживает ли Spark ML (API на основе DataFrame) матрицу путаницы для многоклассовых задач?

Я ищу Spark v 2.2 и выше.Сквозной пример был бы действительно полезен.Я не могу найти оценку матрицы путаницы здесь -

https://spark.apache.org/docs/2.3.0/ml-classification-regression.html

Answer 1

это должно быть так:

val metrics = new MulticlassMetrics(predictionAndLabels)
println(metrics.confusionMatrix)

метрики классификации здесь: https://spark.apache.org/docs/2.3.0/mllib-evaluation-metrics.html