Как получить доступ к серверу истории искры

Question

Я запускаю свое приложение Spark на небольшом наборе данных только для функционального тестирования. Но я также хотел посмотреть, сколько исполнителей создается и как данные распределяются. Для этого я попытался получить доступ к приложению Spark UI, но проблема с доступом к приложению Spark UI заключается в том, что соединение теряется, как только приложение завершает работу. . Я запускаю приложение Spark с помощью intellij IDE, и я не могу найти возможность доступа к такому серверу.

Answer 1

Из Apache Spark Docs, конечные точки монтируются в /api/v1. Например, для сервера истории они обычно будут доступны в http://<server-url>:18080/api/v1, а для запущенного приложения - в http://localhost:4040/api/v1.

для запуска: ./sbin/start-history-server.sh

По умолчанию создается веб-интерфейс с адресом http://<server-url>:18080 со списком незавершенных и завершенных приложений и попыток.

Сами искровые задания должны быть настроены на регистрировать события и записывать их в тот же общий каталог с возможностью записи. Например, если сервер был настроен с каталогом журналов hdfs://namenode/shared/spark-logs, то параметры на стороне клиента будут такими:

Пожалуйста, обратитесь к разделу «Мониторинг и инструментарий» из https://spark.apache.org/docs/latest/monitoring.html для получения дополнительной информации. Спецификация версии Spark c подробные сведения о вариантах

Answer 2

Как насчет добавления вызова сна в конце программы, чтобы отложить ее завершение?