Я создал искровой кластер с тремя узлами, один для главного, а два других - для рабочих.Я вижу двух рабочих в главном пользовательском интерфейсе Spark.
Я создал пример проекта с помощью программы Scala «WordCount», это очень просто, просто прочитайте файл и посчитайте время появления слова.
Я сделал отправку с искрой в режиме развертывания «Клиент» на главном компьютере
. / Bin / spark-submit --class WordCount - master-host:7077 - Клиент в режиме deploy
«WordCount» успешно выполнен. НО , он выполняется только на главном устройстве, а также драйвер или приложение не видны на главном интерфейсе Spark.На мой взгляд, он будет выполняться в кластере (задачи, распространяемые среди исполнителей на рабочем узле), а приложение можно просмотреть в интерфейсе пользователя spark master.
Я провел небольшое исследование или даже читал исходный код Spark Core,но не повезло.Любой комментарий приветствуется.