Сбор значений по нескольким полям для данного ключа - Apache Spark (Scala)

Question

У меня есть фрейм Scala Data в следующем формате:

Мне нужно o / p в следующем формате:

o / p необходимо записать в файл json.

Answer 1

Вот оно. Измените форматирование в соответствии с вашими потребностями.

import org.apache.spark.sql.functions._
df.withColumn("arr", format_string("{%d,%d,%d}", $"pd_id", $"score",$"rank"))
.groupBy("event_tra", "customer", "itemId", "ckey").agg(collect_list("arr").as("collection"))
.select(format_string("{%s,%s,%s,%s,%s,%s}", $"event_tra", $"customer", $"itemId", $"ckey", col("collection").toString).as("data"))