Я установил PySpark с помощью менеджера пакетов Conda, и теперь мне интересно, как я могу настроить SPARK_DRIVER_MEMORY, чтобы PySpark мог выполнять задачи с высоким объемом памяти?Вот две команды, которые я использовал для установки PySpark в образе Docker с Ubuntu 16.04 в качестве базового образа.
conda install openjdk==8.0.152 -y
conda install pyspark==2.3.2 -y
Я пытался найти SPARK_DRIVER_MEMORY внутри контейнера, но не смог найти.