Как я могу настроить искровую работу в режиме реального времени?

Question

Как настроить потребление ядра памяти во время задания структурированной потоковой передачи искр в pyspark?

Answer 1

Вы можете настроить задание в Spark только перед фазой отправки.

Вы можете настроить Spark job следующим образом:

  ./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000