Что такое пакет pyspark, эквивалентный org.apache.spark.sql.execution?

Question

У меня есть код ниже, который находится в PySpark,

df1 = spark.range(2, 10000000, 2)
df2 = spark.range(2, 10000000, 4)
step1 = df1.repartition(5)
step12 = df2.repartition(6)
step2 = step1.selectExpr("id * 5 as id")
step3 = step2.join(step12, ["id"])
step4 = step3.selectExpr("sum(id)")
step4.collect()

Я хочу использовать step4.queryExecution.debug.codegen, который присутствует в пакете Scala.Может кто-нибудь указать мне текущий пакет.

Answer 1

Эта часть API не предоставляется в PySpark, но к ней можно обратиться через внутренний объект JVM:

step4._jdf.queryExecution().debug().codegen()