Как агрегировать значения в Spark?

Question

val trans = df.groupBy("userId").agg(collect_list("movieId") as "features")

Как объединить и другие столбцы в кадре данных?На данный момент это только агрегирующий столбец MovieID.

Answer 1

Вы можете добавить другую агрегацию, как показано ниже:

val trans = df.groupBy("userId").agg(collect_list("movieId") as "features",avg("rating") as "avg_rating"))