Я использую logback для своего приложения spark. Я столкнулся с проблемой, что мое приложение spark использует logback и учитывает конфигурацию logback.xml при локальном запуске через intelli j, но тот же код при запуске с использованием spark-submit на рабочем сервере использует log4j для ведения журнала вместо logback.
Я исправил проблему, выполнив следующую команду (приведя пример здесь)
/root/spark/bin/spark-submit
--driver-java-options "-Dlogback.configurationFile=/path/to/logback.xml"
--conf "spark.driver.extraClassPath=/path/to/logback-jars/*"
--conf "spark.executor.extraClassPath=/path/to/logback-jars/*"
--master spark://x.x.x.x:7077
--class com.myorg.Application app.jar
Используя вышеизложенное, ведение журнала работает нормально и использует logback для ведения журнала.
Как я могуукажите путь -Dlogback.configurationFile, чтобы он выбирал из приложения (logback.xml, который находится в папке ресурсов моего приложения, которая входит в jar-файл app.jar) вместо указания пути к внешнему файлу обратного входа всервер