Как добавить промежуточные столбцы в выборки данных?

Question

Используя Spark 2.2 со спарк-оболочкой, попробуйте toDF и toDS.

case class Person(name: String, age: Long)
val df = Seq( Person("Michael", 0), Person("Andy", 30), Person("Justin", 19) ).toDS()

Работает нормально:

df.select("age", "name").show
df.select("age", "name").withColumn("foo",lit("-")).show

, но с использованием этот синтаксис не работает:

df.select( "age", lit("-").as("foo"), "name" ).show

как использовать столбецфункции или константы столбцов?

Мне нужно изменить порядок столбцов и добавить несколько промежуточных столбцов.

Answer 1

Используя пример и предполагая контекст спарк-оболочки, этот запрос решает проблему:

        df.withColumn("foo",lit("-")). select("name","foo","age")