Включение Spark Web UI в AWS EMR

Question

Я отправляю задание Spark на кластер EMR и хочу увидеть веб-интерфейс Spark, который предоставляет информацию о конфигурации и состоянии главного узла, а также рабочего узла.

Детали конфигурации:
Метка выпуска : emr-5.17.0
Приложения : SPARK 2.3.1

После запуска кластера единственной кликабельной ссылкой является «Включить веб-соединение» на странице «Сводка соединений в кластере».

Вариант 1. Я попытался выполнить действия, описанные в разделе «Включение веб-соединения», но это не сработало.

Вариант 2. Я попытался настроить туннель SSH для главного узла с помощью локальной переадресации портов в Linux https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel-local.html. Мне все еще не удалось открыть веб-интерфейс Sark UI или Resource Manager.

Вариант 3: я пытался с Вариантом 2 + Настройка Foxy Proxy для Firefox (https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-proxy.html)) и все еще пытался открыть веб-интерфейсы, набрав master-public-dns, а затем номер порта или URL (* 1028) *

Может кто-нибудь подскажет пошаговый процесс, как правильно включить веб интерфейс и посмотреть монитор приложений Spark?

PS: я использую Linux (Ubuntu) и веб-браузер в качестве Firefox

Answer 1

Если вы делаете это на работе, я предполагаю, что ваша работа имеет ограничения порта для вашего AWS VPC.Но для работы SSH-туннеля необходимо открыть хотя бы открытый порт 22 через брандмауэр.Вы можете проверить это, подключившись к главному узлу EMR через SSH.Если вы можете сделать это, то порт 22 открыт.Затем вы можете выполнить опцию 2 как часть 1, так и часть 2, и вы сможете подключиться.

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-ssh-tunnel.html?shortFooter=true

также иногда может не работать главное DNS-имя, показанное на странице EMR.,Вместо этого используйте реальный IP-адрес xx.xx.xx.xx: 4040 или 8088 и т. Д.

Answer 2

Нет необходимости выполнять какие-либо подобные операции, просто попробуйте получить URI главного узла.По умолчанию номер порта Spark UI - 4040.

Вы также можете получить эту информацию из файла конфигурации spark.

Чтобы открыть интерфейс искры: http://driver -узел: 4040 выше будет работать, и это также зависит от разрешения, так что если у вас есть, то вы можете увидеть пользовательский интерфейс.