Log4j не показывает журналы, когда задание на иску отправлено на кластер пряжи - PullRequest
Новая
       21

Log4j не показывает журналы, когда задание на иску отправлено на кластер пряжи

0 голосов
/ 05 июня 2019

Журналы приложений не отображаются в журналах пряжи, когда задание отправляется в кластер пряжи. Все работает в локальном режиме.

Отображается следующая ошибка: 

StatusLogger Log4j2 could not find a logging implementation

Я предоставляю следующее для spark-submit: 

--driver-library-path /opt/spark-extras/apache-log4j-2.11.2-bin \
    --conf spark.driver.extraLibraryPath=/opt/spark-extras/apache-log4j-2.11.2-bin \
    --conf spark.executor.extraLibraryPath=/opt/spark-extras/apache-log4j-2.11.2-bin \

spark-defaults.conf указывает log4j2.xml: 

spark.executor.extraJavaOptions ...  -Dlog4j.configurationFile=log4j2.xml

XML-файл: 

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN">
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
        </Console>
    </Appenders>

    <Loggers>
        <Root level="info">
            <AppenderRef ref="Console" />
        </Root>
    </Loggers>
</Configuration>

Тогда мой лог на пряжу показывает только что-то вроде: 

2019-06-05 16:45:28,495 [main] WARN  org.apache.spark.SparkConf - The configuration key 'spark.executor.port' has been deprecated as of Spark 2.0.0 and may be removed in the future. Not used anymore
2019-06-05 16:45:46,298 [Driver] WARN  org.apache.spark.SparkConf - The configuration key 'spark.executor.port' has been deprecated as of Spark 2.0.0 and may be removed in the future. Not used anymore
2019-06-05 16:45:46,314 [Driver] WARN  org.apache.spark.SparkConf - The configuration key 'spark.executor.port' has been deprecated as of Spark 2.0.0 and may be removed in the future. Not used anymore
2019-06-05 16:45:46,315 [Driver] WARN  org.apache.spark.SparkConf - The configuration key 'spark.executor.port' has been deprecated as of Spark 2.0.0 and may be removed in the future. Not used anymore
2019-06-05 16:45:48,324 [Driver] WARN  org.apache.spark.scheduler.FairSchedulableBuilder - Fair Scheduler configuration file not found so jobs will be scheduled in FIFO order. To use fair scheduling, configure pools in fairscheduler.xml or set spark.scheduler.allocation.file to a file that contains the configuration.
2019-06-05 16:45:49,977 [Reporter] INFO  org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl - Received new token for : 
2019-06-05 16:45:50,654 [ContainerLauncher-2] INFO  org.apache.hadoop.yarn.client.api.impl.ContainerManagementProtocolProxy - yarn.client.max-cached-nodemanagers-proxies : 0
2019-06-05 16:45:53,692 [Reporter] INFO  org.apache.hadoop.yarn.client.api.impl.AMRMClientImpl - Received new token for :

Как настроить задание spark-submit, чтобы оно регистрировалось с использованием log4j2, так как оно работает в локальном режиме?

...