Я использовал Zeppelin для сценариев pyspark. Теперь я хочу начать писать сценарии в Jupyter. Я не могу настроить следующие динамические выделения.
livy.spark.dynamicAllocation.enabled true
livy.spark.dynamicAllocation.minExecutors 6
livy.spark.shuffle.service.enabled true
Как я могу это сделать?
Я уже настроил перечисленные ниже пункты, просто изменив файл Json конфигурации.
livy.spark.executor.cores 4
livy.spark.executor.memory 4g