Как добавить 5-ую колонку в существующий dataFrame Spark

Question

У меня есть датафрейм с 5 столбцами. Мне нужно добавить новый столбец на 3-й позиции. Как добиться этого в искре.

df.show()


+---------+--------+---+----------+--------+
|last_name|position|age|salary_inc| segment|
+---------+--------+---+----------+--------+
|   george|      IT| 10|      2313|     one|
|     jhon|  non-it| 21|     34344|    null|
|     mark|      IT| 11|     16161|   third|
|  spencer|      it| 31|      2322|    null|
|  spencer|  non-it| 41|      2322|Valuable|
+---------+--------+---+----------+--------+


Add new_column at position 3


+---------+--------+-----------+---+----------+--------+
|last_name|position|new_column |age|salary_inc| segment|
+---------+--------+-----------+---+----------+--------+

Можете ли вы помочь мне в этом

Answer 1

(
  df.withColumn("new_column", ...)
    .select("last_name", 
            "position", 
            "new_column",
             ...)
    .show()
)

Где первые эллипсы указывают на то, что вы создаете в новом столбце с именем "new_column"; например, lit(1) даст вам буквальный (постоянный) 1 типа IntegerType. Вторые эллипсы указывают оставшиеся столбцы в том порядке, который вы выберете sh.