Как добавить в Spark DataFrame столбец, содержащий агрегаты, такие как среднее значение и число?

Question

Это мой код:

DF = DF.withColumn("MAX",DF.groupBy("NUM_TIERS").max())

Это дало мне следующую ошибку:

AssertionError Traceback (последний последний вызов) в

/ usr / local / Cellar / spark / python / pyspark / sql / dataframe.py в withColumn (self, colName, col) 1986 1987 "" " -> 1988 assert isinstance (столбец, столбец), «столбец должен быть столбцом» 1989 г. возвращает DataFrame (self._jdf.withColumn (colName, col._jc), self.sql_ctx) 1990

AssertionError: col должно быть столбцом

Answer 1

Я не пойму ваш вопрос таким образом, но, насколько я понял, это так, пожалуйста, проверьте.

from pyspark.sql.functions import lit
DF=DF.withColumn("MAX",lit(DF.groupBy("NUM_TIERS").max().count()))