Пользовательская сортировка в фреймах pyspark

Question

Есть ли рекомендуемые методы для реализации пользовательского порядка сортировки для категориальных данных в pyspark? В идеале я ищу функциональность, которую предлагает pandas категориальный тип данных.

Answer 1

Вы можете использовать orderBy и определить свой заказ, используя when:

from pyspark.sql.functions col, when

df.orderBy(when(col("Speed") == "Super Fast", 1)
           .when(col("Speed") == "Fast", 2)
           .when(col("Speed") == "Medium", 3)
           .when(col("Speed") == "Slow", 4)
           )