Извлечение данных c из таблицы с использованием Scala?

Question

Вот пример DF:

Date            Party name                  Symbol  Buy/Sell indicator   # of shares   trade price
2011-01-03      American Funds EuPc;A       AAPL    BUY                     2400          332.87
2011-02-14      American Funds CWGI;A       SLB     BUY                     6700          94.08
2011-01-06      Tudor Investment Corp       ALL     BUY                     11800         31.92
2011-01-20      American Funds Inc;A        AMZN    SELL                    3600          180.14

И вот что я хочу достичь sh:

Date            Party name                 Symbol  Buy/Sell     # of shares   trade price  trading volume 

2011-04-21      Federated Prime Obl;Inst    MMM     BUY          2600         96.17        250042
2011-01-05      Fortress Investment Group   CMCSA   SELL         29700        21.96        644193
2011-02-28      Dodge & Cox Intl Stock      DELL    SELL         57400        15.67        899458
2011-05-02      American Funds Inc;A        S       BUY          137300       5.19         712587

Новый столбец торгового объема - это столбец # of shares * trade price столбец. Кто-нибудь знает, как добиться этого автоматически, так как строк намного больше? После этого я хотел бы взять значения торгового объема и показать их как вывод в порядке убывания. Точная инструкция:

Самый большой счетчик торгов в долларах, список двадцати лучших.

У меня пока есть:

val dataframe = spark.read.cvs("c:\data")

val newdf = dataframe.select("# of shares","trade price")

Любой помощь будет высоко ценится. Спасибо.

Answer 1

Здесь вы go:

import org.apache.spark.sql.functions._
val newdf = dataframe.withColumn("trading volume",col("# of shares")*col("trade price"))
                     .select("# of shares","trade price","trading volume")