Можно ли изменить параметры Spark во время выполнения?

Question

В настоящее время я работаю над Spark и пытаюсь предложить адаптивный план выполнения. Однако мне интересно, можно ли изменить параметры двигателя Spark во время выполнения. Например, можно ли использовать разные кодеки сжатия для двух отдельных этапов или изменить доли памяти, зарезервированные для перемешивания и вычисления во время выполнения? Скажем, для фазы карты я уменьшаю долю памяти, выделяемую для перемешивания, чтобы увеличить ее позже, когда происходит перемешивание?

Спасибо

Answer 1

Это вообще невозможно.

Хотя подмножество параметров конфигурации может быть изменено во время выполнения с помощью ( Настройка SparkContext с использованием sparkConf.set (..) при использовании spark-shell ), объект RuntimeConfig, основные параметры, нельзя изменить, если только SparkContext перезапускается.