Scala dataframe Добавить новый столбец на основе других столбцов?

Question

Пример DF:

A      B        C        D        E      F
3      6       26        0        7      2
1      14       3        21       9      1

Что я хочу

A      B         C         D       E      F     G
3      6        26         0       7      2     14
1      14        3         21      9      1     9

Я хочу, чтобы новый столбец (G) был (E * F). Кто-нибудь знает, как это сделать, потому что после этого мне нужно будет показывать только самые большие 20 цифр в новом столбце G

Извините, если об этом спрашивали раньше, и спасибо заранее.

Answer 1

С некоторыми ярлыками:

import org.apache.spark.sql.functions._ 
val df = Seq(ABCDEF(3, 6, 26, 0, 7, 2), ABCDEF(1, 14, 3, 21, 9, 1)).toDF

df.show
/*
+---+---+---+---+---+---+
|  A|  B|  C|  D|  E|  F|
+---+---+---+---+---+---+
|  3|  6| 26|  0|  7|  2|
|  1| 14|  3| 21|  9|  1|
+---+---+---+---+---+---+
*/

df.withColumn("G", 'E * 'F).sort(-'G).show
/*
+---+---+---+---+---+---+---+
|  A|  B|  C|  D|  E|  F|  G|
+---+---+---+---+---+---+---+
|  3|  6| 26|  0|  7|  2| 14|
|  1| 14|  3| 21|  9|  1|  9|
+---+---+---+---+---+---+---+
*/

Answer 2

Что-то вроде:

import org.apache.spark.sql.functions.{ col, desc}

val df: DataFrame = ???
df.withColumn("G", col("E") * col("F")).sort(desc("G")).show(20)