Я настроил кластер из 11 узлов для работы без пароля, установил переменные JAVA_HOME, SPARK_HOME и SCALA_HOME и установил разрешения rwx для подкаталогов Spark для моего пользователя.Когда я пытаюсь запустить один из примеров, веб-портал показывает, что процессы-исполнители на моих 11 узлах были убиты.Когда я запускаю:
bin/spark-submit --deploy-mode cluster --master spark://192.168.1.10:6066 --class org.apache.spark.examples.JavaWordCount --files /home/clusternode/wordTest examples/jars/spark-examples_2.11-2.3.2.jar file://wordTest
, я получаю в stderr каждого узла:
Spark Executor Command: "/usr/lib/jvm/java-8-openjdk-amd64/bin/java" "-cp" "/usr/local/spark/conf/:/usr/local/spark/jars/*" "-Xmx1024M" "-Dspark.driver.port=46481" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver-url" "spark://CoarseGrainedScheduler@clusterNode10:46481" "--executor-id" "2" "--hostname" "192.168.1.11" "--cores" "2" "--app-id" "app-20181211105202-0002" "--worker-url" "spark://Worker@192.168.1.11:42779"
========================================
Может ли кто-нибудь указать мне правильное направление с этим?Я не уверен, связано ли это с путями классов, так как я попытался добавить несколько в spark-defaults.conf и продублировал файлы jar в каталоге conf.