Я выполняю задание pyspark в качестве шага AWS EMR, и запуск сценария занимает более 15 минут. У меня есть 1 мастер и 3 основных узла в кластере EMR. Я хочу выяснить, почему и какая часть моего сценария занимает много времени. Для этого я хотел увидеть веб-интерфейс Spark. Когда я нажимаю «URL отслеживания: Мастер приложений» в интерфейсе Yarn (порт 8088), мой браузер продолжает вращаться и не может отображать интерфейс Spark. Ссылка URL в браузере:
http://ip-172-31-x-x.ec2.internal:20888/proxy/application_1579701541309_1029/
Это, очевидно, частный DNS. Как я вижу интерфейс Spark, даже если это временно для меня, чтобы устранить неполадки. Я могу изменить группу безопасности AWS, если это необходимо. И позже, как это можно сделать, когда я нахожусь в производственной среде?
Спасибо