SparkUI не показывает вкладку (Задания, Этапы, Хранение, Среда, ...) при запуске в автономном режиме

Question

Я запускаю мастер-мастер с помощью следующей команды:

./sbin/start-master.sh

После этого я перешел на http://localhost:8080 и увидел следующую страницу.

Я ожидал увидеть вкладку с заданиями, средами, ... как показано ниже

Может ли кто-нибудь помочь мне понять, в чем проблема?

Нужна ли дополнительная настройка?

Спасибо

Giuseppe

Answer 1

Для отслеживания и проверки выполнения заданий Spark в веб-браузере используйте порт 4040 вместо 8080.

Например: http://ipAddress:4040

Заменить 8080 в URL.

См .: https://spark.apache.org/docs/latest/monitoring.html

В приведенной выше ссылке документация spark утверждает, что она запускает веб-интерфейс через порт 4040

Еще одно полезное замечание: эта информация по умолчанию доступна только во время работы приложения. Для просмотра веб-интерфейса после факта установите для spark.eventLog.enabled значение true перед запуском приложения. Это настраивает Spark для регистрации событий Spark, которые кодируют информацию, отображаемую в пользовательском интерфейсе, в постоянное хранилище.

Надеюсь, это поможет.