Как преобразовать Spark Dense Matrix в Spark Dataframe

Question

Я пытаюсь реализовать некоторый код в Scala Spark, в котором у меня есть мультиклассовая модель логистической регрессии, и модель генерирует матрицу коэффициентов.

Вот код -

val training = spark.read.format("libsvm").load("data/mllib/sample_multiclass_classification_data.txt")


training.show(false)
+-----+-----------------------------------------------------------+
|label|features                                                   |
+-----+-----------------------------------------------------------+
|1.0  |(4,[0,1,2,3],[-0.222222,0.5,-0.762712,-0.833333])          |
|1.0  |(4,[0,1,2,3],[-0.555556,0.25,-0.864407,-0.916667])         |
|1.0  |(4,[0,1,2,3],[-0.722222,-0.166667,-0.864407,-0.833333])    |
|1.0  |(4,[0,1,2,3],[-0.722222,0.166667,-0.694915,-0.916667])     |
|0.0  |(4,[0,1,2,3],[0.166667,-0.416667,0.457627,0.5])            |
|1.0  |(4,[0,2,3],[-0.833333,-0.864407,-0.916667])                |
|2.0  |(4,[0,1,2,3],[-1.32455E-7,-0.166667,0.220339,0.0833333])   |
|2.0  |(4,[0,1,2,3],[-1.32455E-7,-0.333333,0.0169491,-4.03573E-8])|
|1.0  |(4,[0,1,2,3],[-0.5,0.75,-0.830508,-1.0])                   |
|0.0  |(4,[0,2,3],[0.611111,0.694915,0.416667])                   |
|0.0  |(4,[0,1,2,3],[0.222222,-0.166667,0.423729,0.583333])       |
|1.0  |(4,[0,1,2,3],[-0.722222,-0.166667,-0.864407,-1.0])         |
|1.0  |(4,[0,1,2,3],[-0.5,0.166667,-0.864407,-0.916667])          |
|2.0  |(4,[0,1,2,3],[-0.222222,-0.333333,0.0508474,-4.03573E-8])  |
|2.0  |(4,[0,1,2,3],[-0.0555556,-0.833333,0.0169491,-0.25])       |
|2.0  |(4,[0,1,2,3],[-0.166667,-0.416667,-0.0169491,-0.0833333])  |
|1.0  |(4,[0,2,3],[-0.944444,-0.898305,-0.916667])                |
|2.0  |(4,[0,1,2,3],[-0.277778,-0.583333,-0.0169491,-0.166667])   |
|0.0  |(4,[0,1,2,3],[0.111111,-0.333333,0.38983,0.166667])        |
|2.0  |(4,[0,1,2,3],[-0.222222,-0.166667,0.0847457,-0.0833333])   |
+-----+-----------------------------------------------------------+

Есть 3 метки, для которых я пытаюсь подогнать модель.

scala> training.select("label").distinct.show
+-----+
|label|
+-----+
|  0.0|
|  1.0|
|  2.0|
+-----+

Подогнать модель логистической регрессии

import org.apache.spark.ml.classification.LogisticRegression
val lr = new LogisticRegression().setMaxIter(10).setRegParam(0.3).setElasticNetParam(0.8)
​
// Fit the model
val lrModel = lr.fit(training)
​

Теперь, когда я пытаюсь взглянуть на матрицу коэффициентов, она дает мне матрицу, которая имеет 3 строки (для 3 меток) и 4 столбца (4 функции ввода)

scala> lrModel.coefficientMatrix.toDense
res13: org.apache.spark.ml.linalg.DenseMatrix =
0.0  0.0  0.0                  0.3176483191238039
0.0  0.0  -0.7803943459681859  -0.3769611423403096
0.0  0.0  0.0                  0.0

и вот перехваты для каждой из меток -

scala> lrModel.interceptVector
res15: org.apache.spark.ml.linalg.Vector = [0.05165231659832854,-0.12391224990853622,0.07225993331020768]

Я хочу создать важность элемента Spark dataframe , используя матрицу коэффициентов и вектор перехвата, чтобы получить окончательный результатфрейм данных вот так -

label feature name  coefficient intercept
0         0             0         0.051
0         1             0         0.051
0         2             0         0.051
0         3             0.3176    0.051
1         0             0         -0.123
1         1             0         -0.123
1         2             -0.78     -0.123
1         3             -0.37     -0.123
2         0             0         0.072
2         1             0         0.072
2         2             0         0.072
2         3             0         0.072

Каждая функция имеет коэффициент для каждой метки, поэтому общее количество записей в выходных данных будет labels * features, что составляет 3 * 4 = 12

Я бы хотел, чтобы этот процессбудьте динамичны, вроде как оберните его в функцию, чтобы я мог повторно использовать его для любого количества функций и меток.

Я читаю данные отсюда - https://github.com/apache/spark/blob/master/data/mllib/sample_multiclass_classification_data.txt