Версия Scala имеет org.apache.spark.sql.Dataset#mapPartitions, но pyspark.sql.DataFrame не имеет mapPartitions.Я должен сначала преобразовать в rdd, а затем преобразовать его обратно в DataFrame.
Есть ли причина, по которой не поддерживается mapPartitions в pyspark.sql.DataFrame?