В моем проекте есть несколько приложений spark (каждое со своим собственным сеансом spark), и все они ссылаются на один и тот же файл log4j.properties. Я хочу указать другой файл log4j.properties (log4j_1.properties) для некоторых заданий. Я попробовал ниже, но он все еще принимает конфигурацию только из исходного файла (log4j.properties).
Не знаете, что мне здесь не хватает?
conf.set("spark.driver.extraJavaOptions", "-Dlog4j.configuration=file:log4j_1.properties")
Примечание:
- Я вижу вышеприведенный параметр, установленный на вкладке среды SparkUI
- И log4j_1.properties, и log4j.properties есть в classpath