Я пытался использовать .agg(avg("boolean_column")), но получил ошибку:
.agg(avg("boolean_column"))
"function average requires numeric types, not boolean"
Как получить среднее значение для такого столбца?
Преобразовать столбец в числовой тип, затем взять среднее значение:
from pyspark.sql.functions import avg, col df.groupBy(...).agg(avg(col("boolean_column").cast("double")))