Как преобразовать массив любого из элементов в dataframe в spark scala?

Question

У меня есть массив как Array[(Any, Any, Any)]. Например:

l1 =  [(a,b,c),(d,e,f),(x,y,z)]

Я хочу преобразовать его в Dataframe как:

c1    c2    c3
a     b     c
d     e     f
x     y     z

Я пытался преобразовать существующий фрейм данных в список:

val l1= test_df.select("c1","c2","c3").rdd.map(x => 
(x(0),x(1),x(2))).collect()
println (lst) 
val c = Seq(l1).toDF("c1","c2","c3") 
c.show()

Но выдает эту ошибку:

xception in thread "main" java.lang.ClassNotFoundException: scala.Any
at java.net.URLClassLoader.findClass(Unknown Source)
at java.lang.ClassLoader.loadClass(Unknown Source)

Answer 1

В Pyspark:

l1 =  [('a','b','c'),('d','e','f'),('x','y','z')]
sdf=spark.createDataFrame(l1)
sdf.show()