Настроенный эквивалент Hadoop в Spark

Question

Hadoop предоставляет Configured и Configurable, чтобы классы могли получить доступ к Configuration объекту.Есть ли в Spark аналогичный способ, кроме передачи SparkConf через конструктор?

Answer 1

• Во-первых, используйте conf / spark-defaults.conf для предоставления конфигурации, например:

    spark.master            spark://5.6.7.8:7077
    spark.executor.memory   4g
    spark.eventLog.enabled  true
    spark.serializer        org.apache.spark.serializer.KryoSerializer

• Во-вторых, используйте spark-submit для передачи параметров конфигурации, таких как:

    ./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar