После того, как вы нащупаете word
и count
, вы можете получить результат таким образом.
df.groupBy().agg(map_from_arrays(collect_list('col1'), collect_list('col2')).alias('map')) \
.show(10, False)
+------------------------+
|map |
+------------------------+
|[A -> 1, B -> 2, C -> 3]|
+------------------------+