У меня есть Batch
из Rule[LogicalPlan]
, готовый для внедрения в Spark, который должен быть выполнен один раз, поэтому я не могу просто использовать injectOptimizerRule
API.
После некоторых исследований я нашел def postHocOptimizationBatches
многообещающим для меня, но что я должен сделать, чтобы переопределить его и построить работающий SparkSession
?