У меня есть кластер Spark 2.4.0, развернутый на трех машинах (Ubuntu Server 18.04 (Bionic Beaver)), одном ведущем и двух ведомых, с успешным соединением между ними.
Я хочу запустить одно задание (в данном случае Java-программу) с помощью spark-submit в режиме кластера, но задание не выполняется.
Программа отлично работает в локальном режиме на ведущем устройстве и выдает желаемый результат, поэтому программа не является проблемой.
Я использую эту команду для запуска задания:
spark-submit --class path.to.my.main.class.App --master spark://192.168.0.2:7077 --deploy-mode cluster MyProgram.jar
Здесь я показываю файлы журнала:
Хозяйский журнал
2019-03-26 13:04:34 INFO Master:54 - Driver submitted org.apache.spark.deploy.worker.DriverWrapper
2019-03-26 13:04:34 INFO Master:54 - Launching driver driver-20190326130434-0003 on worker worker-20190326121118-192.168.0.4-38962
2019-03-26 13:04:36 INFO Master:54 - Removing driver: driver-20190326130434-0003
2019-03-26 13:04:39 INFO Master:54 - 192.168.0.2:49178 got disassociated, removing it.
2019-03-26 13:04:39 INFO Master:54 - 192.168.0.2:36778 got disassociated, removing it.
Журнал работника:
2019-03-26 13:04:34 INFO Worker:54 - Asked to launch driver driver-20190326130434-0003
2019-03-26 13:04:34 INFO DriverRunner:54 - Copying user jar file:/home/spark/MyProgram.jar to /home/spark/spark-2.4.0-bin-hadoop2.7/work/driver-20190326130434-0003/MyProgram.jar
2019-03-26 13:04:34 INFO Utils:54 - Copying /home/spark/MyProgram.jar to /home/spark/spark-2.4.0-bin-hadoop2.7/work/driver-20190326130434-0003/MyProgram.jar
2019-03-26 13:04:34 INFO DriverRunner:54 - Launch Command: "/usr/lib/jvm/java-8-oracle//bin/java" "-cp" "/home/spark/spark-2.4.0-bin-hadoop2.7//conf/:/home/spark/spark-2.4.0-bin-hadoop2.7/jars/*" "-Xmx1024M" "-Dspark.driver.supervise=false" "-Dspark.submit.deployMode=cluster" "-Dspark.jars=file:/home/spark/MyProgram.jar" "-Dspark.master=spark://192.168.0.2:7077" "-Dspark.app.name=path.to.my.main.class.App" "-Dspark.rpc.askTimeout=10s" "org.apache.spark.deploy.worker.DriverWrapper" "spark://Worker@192.168.0.4:38962" "/home/spark/spark-2.4.0-bin-hadoop2.7/work/driver-20190326130434-0003/MyProgram.jar" "path.to.my.main.class.App"
2019-03-26 13:04:36 WARN Worker:66 - Driver driver-20190326130434-0003 exited with failure