Как обрабатывать логи в режиме Spark Cluster - PullRequest
Новая
       31

Как обрабатывать логи в режиме Spark Cluster

0 голосов
/ 14 сентября 2018

Я новичок в Spark. Я не могу узнать, как обрабатывать журналы в режиме Spark Cluster. Я добавил следующие свойства в скрипт Spark. 

spark.conf.set("yarn.log-aggregation-enable","true")
spark.conf.set("yarn.nodemanager.log-dirs","HDFS_LOCATION")
spark.conf.set("yarn.nodemanager.remote-app-log-dir","HDFS_LOCATION")
spark.conf.set("spark.eventLog.enabled", "true")
spark.conf.set("spark.eventLog.dir", "HDFS_LOCATION")
spark.conf.set("spark.scheduler.mode", "FAIR")

И при запуске spark-submit я добавляю следующую опцию:

--driver-java-options "-Dlog4j.debug=true -Dlog4j.configuration=$LOCATION/log4j.properties"

Но я получаю следующее исключение: 

Exception in thread "main" org.apache.spark.SparkException: Application

И я не могу найти ни одного журнала в папке журнала HDFS.

Пожалуйста, помогите, поскольку я застрял с кодом.

...