Горячий, чтобы выполнить "искра-представить" против удаленного мастера искры?

Question

Предположим, у меня есть удаленный искровой кластер. Я могу войти в систему удаленного узла искрового кластера с помощью ssh и запустить spark-submit с примером, подобным этому:

$SPARK_HOME/bin/spark-submit /usr/lib/spark2/examples/src/main/python/pi.py

Теперь я установил spark на свой ноутбук, но я не запускаю его. Я хочу запустить $SPARK_HOME/bin/spark-submit на своем ноутбуке против хоста удаленного искрового кластера. Как я могу это сделать?

Answer 1

Да, вы можете указать удаленный главный URL в этой команде, например, $SPARK_HOME/bin/spark-submit --master spark://url_to_master:7077 /usr/lib/spark2/examples/src/main/python/pi.py