Я написал собственное правило логического плана оптимизатора катализатора и пытаюсь настроить его в своем кластере. Я знаю, что могу внедрить это правило в программу или блокнот scala, используя:
spark.experimental.extraOptimizations = Seq(myoptimizationrule)
, предполагая, что правило myoptimization уже создано и определено. Это нормально работает в ноутбуке, как и ожидалось, и правило вводится и вступает в действие для последующих запросов.
Можно ли установить это как правило по умолчанию на уровне самого кластера через некоторую переменную config / environment ?
Я попытался установить в конфигурационном файле по умолчанию, но, похоже, это не сработало.
spark.experimental.extraOptimizations myoptimizationrule
Мне все еще нужно явно вставить его в блокнот.
Не поддерживается ли установка spark.experimental.extraOptimizations через файлы conf или env-переменные?
Как этого можно достичь на уровне кластера по умолчанию? Любые идеи будут высоко оценены.