Как включить или получить URL отслеживания в оболочке spark?

Question

Когда я даю Spark-Shell или Spark-shell -master пряжу, я не нахожу отслеживающий URL на консоли.

Скажите, что я изменил номер executors и executor памяти, я хотел бы проверить эти изменения, используя URL-адрес отслеживания.

Будет полезно, если я узнаю, как получить этот URL для отслеживания

Answer 1

вы можете получить URL SparkUI программно:

val url = spark.sparkContext.uiWebUrl

Answer 2

Если вы используете пряжу,

1. Перейти к приложениям пряжи в CM.
2. Вы найдете свою искровую оболочку в списке. Нажмите ваше приложение
3. Вы найдете URL-адрес для отслеживания : ApplicationMaster - это URL-адрес, который вы ищете. Дайте мне знать, если это отвечает на ваш запрос.