Итерация по искровому фрейму данных и объединение двух столбцов для каждой строки

Question

Я выполняю итерацию по искровому фрейму данных и хочу объединить два столбца для каждой строки.

df.collect().foreach{
      row =>
        val x = row.toSeq
        println(x)
        println(x(0))
        val y = "row(1)+row(2)"
         }

Answer 1

val dataFrame = sc.parallelize(Seq(("one", 2.0),("two", 1.5),("three", 8.0))).toDF("id", "value")
import org.apache.spark.sql.functions.concat
val dfToList = dataFrame.withColumn("concat" , concat($"id",$"value")).drop("id").drop("value").collect()
println(dfToList)

Это дает

dataFrame: org.apache.spark.sql.DataFrame = [id: string, value: double]
import org.apache.spark.sql.functions.concat
dfToList: Array[org.apache.spark.sql.Row] = Array([one2.0], [two1.5], [three8.0])

Это то, что вы ищете?