Генерация искрового фрейма данных из массива, но в форме элемента, а не в виде фрейма данных с массивом

Question

Я хочу сгенерировать dataframe из массива spark, но схема dataframe не должна быть dataframe (Array (int)), это должна быть Array (int). Я хочу поместить элемент массива в фрейм данных, но в форме элементов, не являющихся массивом.

val mean_array = Array.ofDim[int](2)
val date_array = Array.ofDim[String](2)
mean_array(0)=1
mean_array(1)=2
date_array(0)="dt1"
date_array(1)="dt2"

val ds = spark.createDataFrame (List ((date_array, mean_array))) dsorg. apache .spark. sql .DataFrame = [_1: массив, _2: массив]

Результирующий массив должен быть ds = [(1, dt1), (2, dt2)]

Я хочу взять valeus внутри массивов и поместите его в новый фрейм данных.

Answer 1

Вы можете попробовать, как показано ниже

scala> val ds = spark.createDataFrame(mean_array zip date_array)
ds: org.apache.spark.sql.DataFrame = [_1: int, _2: string]

scala> ds.show
+---+---+
| _1| _2|
+---+---+
|  1|dt1|
|  2|dt2|
+---+---+

Пожалуйста, дайте мне знать, если это поможет вам.