Мы создали отдельный искровой кластер. Кажется, все в порядке. Но не все рабочие можно найти на странице искры.
Запускаем искру следующим образом:
[hadoop@master spark-2.0.2-bin-hadoop2.7]$ sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/hadoop/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.master.Master-1-master.telegis.out
master.telegis: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-master.telegis.out
slave1.telegis: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave1.telegis.out
slave2.telegis: starting org.apache.spark.deploy.worker.Worker, logging to /home/hadoop/spark-2.0.2-bin-hadoop2.7/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-slave2.telegis.out
Мы можем найти рабочий сервис по команде jps на каждом узле.
Кроме того, если мы передадим задачу в режиме кластера пряжи, будет работать только один рабочий.
веб-страница искры показывает:
Веб-страница кластера hadoop показывает: