Журналы приложений Java Spark через регистратор не отображаются в журнале EMR

Question

У меня есть Java-приложение Spark, работающее на EMR. Когда я пытаюсь запустить искровое задание, локально входя в экземпляр EMR EC2, я получаю информацию о моем регистраторе из java-приложения на консоли.

/usr/lib/spark/bin/spark-submit --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --master local s3://myJarS3Location/myjar.jar

на консоли информация о моем логгере: 19/05/29 01:50:11 INFO DataTransforFileProcessUtility: ############ Job started at :2019-05-29 01:50:11.391 ############

Где, когда я использую режим кластера:

/usr/lib/spark/bin/spark-submit --deploy-mode cluster --master yarn --class com.myproject.MyMainSparkClass --conf 'spark.driver.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' --conf 'spark.executor.extraJavaOptions=-Dcong.parameters=somepropertiesparameter' s3://myJarS3Location/myjar.jar

Я не могу получить информацию о регистраторе из моего приложения на моей консоли. Если я выполняю команду режима кластера в качестве шага на EMR, я не нахожу информацию регистратора приложения ни в одном из файлов журнала. Записывается ли информация журнала приложения в любое место, если мы запускаем в режиме кластера с Yarn?

Answer 1

При работе в режиме кластера Yarn код драйвера запускается в том же процессе, что и мастер приложения (AM).
Журналы будут регистрироваться в журналах AM.
Вы можете найти AM из менеджера ресурсов, откуда вы также можете найти ссылку на журналы.

Answer 2

Когда вы используете режим кластера, вы должны перейти к Yarn Resourcemanager или Spark History Server, чтобы получить журнал вашего приложения;

В моем случае (cloudera CDH): - Пряжа RM: http: $ {your_yarn_resourcemanager_host}: 8088 / cluster - Сервер истории Spark: http: $ {your_spark_history_server_host}: 18088