Относительно просто использовать Spark Structured Streaming API для выполнения groupBys и агрегации...