Spark in docker, настройка памяти для водителя / исполнителя

Question

Я использую spark-master и spark-worker в отдельном docker.

Я вижу, что они работают

✗ ps -ef | grep spark root 3477 3441 0 1 월 05? 00:04:17 /usr/lib/jvm/java-1.8-openjdk/jre/bin/java -cp / usr / local / spark / conf /: / usr / local / spark / jars / * - Xmx1g org. apache .spark.deploy.master.Master --ip node-master --port 7077 --webui-port 10080

Я не уверен, используют ли мои работники 1g или 8g, я устанавливаю параметры памяти через SparkConf

 conf.set("spark.executor.memory", "8g")
 conf.set("spark.driver.memory", "8g")

Я вижу 8g в веб-интерфейсе

Я действительно использую 8g? Есть ли способ изменить часть Xmm1g, которая отображается в командной строке под ps?

** edit

Я использую автономный кластер (не пряжу) и использую pyspark , Невозможно использовать файлы spark-submit python в режиме автономного кластера

В настоящее время автономный режим не поддерживает режим кластера для Python приложений.

http://spark.apache.org/docs/latest/submitting-applications.html

Answer 1

Как правило, эти параметры не следует устанавливать в коде, поскольку в зависимости от менеджера кластера эти параметры могут не иметь эффекта.

Их следует устанавливать в команде spark-submit.

Пожалуйста, обратитесь к this .

Свойства искры в основном можно разделить на два вида: один относится к развертыванию, например «spark.driver.memory» «Spark.executor.instances», этот тип свойств может не изменяться при программной настройке через SparkConf во время выполнения, или поведение зависит от того, какой менеджер кластера и режим развертывания вы выбираете, поэтому было бы предложено установить его через файл конфигурации. или параметры командной строки spark-submit; другая связана главным образом с контролем времени выполнения Spark, например «spark.task.maxFailures», этот тип свойств может быть установлен любым способом.

ОБНОВЛЕНИЕ

С здесь :

# Run a Python application on a Spark standalone cluster
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000