Отслеживание и запись / отладка приложения пряжи, запущенного из бинарного файла scala с использованием spark-submit

Question

Я пытаюсь разработать интеграционное тестирование.Я буду запускать несколько jar-файлов, написанных на Scala, и запускать процессы Spark командой spark-submit --master yarn.Есть ли способ, при котором этот jar-файл может предоставить какой-либо идентификатор или имя, которое поможет мне определить, какой процесс пряжи был вызван каким jar-файлом, чтобы облегчить отладку?

Редактировать: я не могуотредактируйте код в scala, единственное, что я могу сделать, - это запустить jar в моем окружении.

Answer 1

Вы можете проверить заявку на пряжу, представленную Spark, используя имя приложения.

a.отправить приложение Spark, используя параметр имени приложения.

SparkSession.builder.appName("spark-app-name")......

b.Проверьте идентификатор приложения Yarn, используя имя приложения.

yarn application -list | awk '$2 == "spark-app-name" {print $1}'

c.Получив идентификатор приложения, вы можете проверить состояние приложения Yarn с помощью API YEST REST:

http://<RM_HOST>:8088/ws/v1/cluster/apps/$job_id/state

Answer 2

вы можете использовать опцию spark-submit --name [spark_job_name], чтобы назвать ваш spark_job и легко идентифицировать его впоследствии.