Проблема ротации журнала Spark-Scala, невозможно создать внешний журнал:
Невозможно создать ротацию журналов с помощью RollingFileAppender & ConsoleAppender:
я получил ниже WARN во время выполнения, не могу создать файл журнала в следующем месте.
По-прежнему используется файл журнала по умолчанию.
log4j:WARN No appenders could be found for logger (com.telstra.rep.main.BPAStreamCDCMain$).
log4j:WARN Please initialize the log4j system properly.
lUsing Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Команда выполнения Spark:
spark2-submit --master yarn --deploy-mode client --files /usr/jaas.conf#jaas.conf,/usr.keytab#usr.keytab,/log/log4jExecutor.properties,/log/log4jDriver.properties --driver-java-options "-Dlog4j.configuration=/log/log4jDriver.properties -Djava.security.auth.login.config=/usr/jaas.conf" --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=/log/log4jExecutor.properties -Djava.security.auth.login.config=/usr/jaas.conf" --class SprMain SprProject.jar