Spark сгруппированные данные Dataframe

Question

Как мне получить ключи сгруппированных spark-dataframe?

И еще вопрос:

Что включает в себя pyspark.sql.group.GroupedData объект?

Answer 1

Как получить ключи сгруппированного спарк-фрейма данных?

Без агрегирования данных и сбора результата это невозможно. Было бы проще просто:

df.select(grouping_columns).distinct()

Что включает в себя объект pyspark.sql.group.GroupedData?

Только план выполнения:

• Как сериализовать объект GroupedData pyspark?
• как сохранить сгруппированные данные в json в pyspark