Пример Spark Pi выполняется, но рабочие ресурсы не выделены

Question

Я использую пример с числом Пи. Он работает нормально и возвращает результат.

Но, что касается рабочего, я просто вижу, что он жив, ресурсы не используются! Сведения о задании не указаны, ничего.

Я запускаю Spark локально.

start-master.sh -h 127.0.0.1

start-slave.sh spark://127.0.0.1:7077

рабочий

Answer 1

Вы должны передать свой локальный главный адрес в команде spark-submit --master spark://127.0.0.1:7077 также вы можете передать главный адрес в коде, используя .setMaster(...), а затем запустить его как python скрипт.