Как конвертировать DenseMatrix для запуска DataFrame в pyspark?

Question

Я не нашел ни одного кода pyspark для преобразования матрицы в фрейм данных spark, кроме следующего примера с использованием Scala. Кто-нибудь знает, как использовать вместо Python?

Как преобразовать матрицу MLLIB в кадр данных искры?

Answer 1

Мы можем использовать toArray() метод для преобразования DenseMatrix в numpy ndarray и tolist() для преобразования из массива в список.

>>> m = DenseMatrix(2, 2, range(4))
>>> m
DenseMatrix(2, 2, [0.0, 1.0, 2.0, 3.0], False)
>>> rows = m.toArray().tolist()
>>> rows
[[0.0, 2.0], [1.0, 3.0]]
>>> df = spark.createDataFrame(rows,['col1','col2'])
>>> df.show()
+----+----+
|col1|col2|
+----+----+
| 0.0| 2.0|
| 1.0| 3.0|
+----+----+