У меня есть RDD[Sale]
и хотелось оставить только последние продажи.Итак, я создал пару RDD, а затем выполнил группировку и фильтрацию:
val sales: RDD[(String, Sale)] = rawSales.map(sale => sale.id -> sale)
.groupByKey()
.mapValues(_.maxBy(_.timestamp))
Но как мне в этом случае вернуться к RDD[Sale]
вместо пары RDD?
Единственный способ, который я понял, заключается в следующем:
val value: RDD[Sale] = sales.map(salePaired => salePaired._2)
Это самое правильное решение?