Как хвостовой пряжи бревна?

Question

Я отправляю задание Spark, используя приведенную ниже команду. Я хочу привязать журнал пряжи с помощью идентификатора приложения, аналогичного операции хвостовой команды в окне Linux.

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

Answer 1

Если под «Журналы пряжи» вы подразумеваете журналы ваших исполнителей, вы можете легко их увидеть или отследить, если у вас есть доступ к машине-исполнителю, на которую отправлено ваше задание на пряжу. Вы должны сделать только:

yarn logs -applicationId <you app ID>

на машине исполнителя. Вы можете просматривать основные журналы в пользовательском интерфейсе пряжи, если настроили его правильно.

Answer 2

не легко.

«Журналы YARN» на самом деле не находятся в YARN, они фактически находятся на узлах-исполнителях Spark.Если агрегирование журналов YARN включено, то журналы хранятся в HDFS и доступны с сервера Spark History.

Промышленный шаблон развертывания заключается в настройке свойств Spark log4j для записи в файл с помощью средства пересылки журналов (например, Filebeat, Splunk, Fluentd), затем эти процессы собирают данные в поисковую систему, такую ​​как Solr, Elasticsearch, Graylog, Splunk и т. Д. С помощью этих инструментов вы можете приблизительно отслеживать / искать / анализировать сообщения журнала вне CLI.