Я хочу сгенерировать dataframe из массива spark, но схема dataframe не должна быть dataframe (Array (int)), это должна быть Array (int). Я хочу поместить элемент массива в фрейм данных, но в форме элементов, не являющихся массивом.
val mean_array = Array.ofDim[int](2)
val date_array = Array.ofDim[String](2)
mean_array(0)=1
mean_array(1)=2
date_array(0)="dt1"
date_array(1)="dt2"
val ds = spark.createDataFrame (List ((date_array, mean_array))) dsorg. apache .spark. sql .DataFrame = [_1: массив, _2: массив]
Результирующий массив должен быть ds = [(1, dt1), (2, dt2)]
Я хочу взять valeus внутри массивов и поместите его в новый фрейм данных.