Как вывести пользовательский лог на терминал при выполнении spark-submit? - PullRequest
Новая
       39

Как вывести пользовательский лог на терминал при выполнении spark-submit?

0 голосов
/ 07 ноября 2018

У меня есть один узел Spark на машине A, и я делаю spark-submit на другой машине B, вот как я запускаю spark-submit: 

spark-submit \
  --class com.foo.misc.spark.WordCount \
  --master yarn \
  --deploy-mode cluster \
  --executor-memory 1G \
  --num-executors 5 \
  wordcount.jar \
  file:///root/input01.txt \
  hdfs://os74gcc52-c6cfd5d5:9000/test/output9

Это отлично работает, и я вижу вывод 9, сгенерированный с количеством слов.

Только то, что при просмотре в терминале (тот, который я запустил spark-submit), я не могу найти информацию о моем журнале, все, что я вижу, - это журнал свечей вроде 

2018-11-07 15:41:36 INFO  Client:54 - Application report for application_1541562152848_0010 (state: RUNNING)
2018-11-07 15:41:37 INFO  Client:54 - Application report for application_1541562152848_0010 (state: RUNNING)
2018-11-07 15:41:38 INFO  Client:54 - Application report for application_1541562152848_0010 (state: RUNNING)
2018-11-07 15:41:39 INFO  Client:54 - Application report for application_1541562152848_0010 (state: RUNNING)
2018-11-07 15:41:40 INFO  Client:54 - Application report for application_1541562152848_0010 (state: FINISHED)

Вот так я делаю логи в WordCount.java, 

import org.apache.log4j.LogManager;
import org.apache.log4j.Logger;
...

public class WordCount {
    private static final Logger log = LogManager.getLogger(WordCount.class);

    public static void main(String[] args) {
        log.warn("start foooooooooooooooooooo");
        ...

Это потому, что я использую кластерный режим развертывания? Или из-за каких-то других вещей?

1 Ответ

0 голосов
/ 07 ноября 2018

получить идентификатор приложения для задания spark от менеджера ресурсов. Используйте команду yarn, чтобы получить журналы для идентификатора приложения. Вы найдете, что ваши данные напечатаны с помощью менеджера журналов. Если приложение подано в режиме клиента, я думаю, что это можно увидеть на консоли, пока задание выполняется

...