Хотел узнать, есть ли способ параметризации файла log4j.properties для имени файла журнала и передать его в качестве аргумента в spark-submit. Ниже я попробовал настроить, и это не сработало.
log4j_22.properties:
og4j.rootLogger=ERROR, RollingAppender
log4j.appender.RollingAppender=org.apache.log4j.DailyRollingFileAppender
log4j.appender.RollingAppender.File=${scriptname}.log
log4j.appender.RollingAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.RollingAppender.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
spark-submit --master abc --name "xyz" --files log4j_22.properties --conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:log4j_22.properties -Dlog4j.scriptname=22’ --conf spark.executor.extraJavaOptions='-Dlog4j.configuration=file:log4j_22.properties -Dlog4j.scriptname=22’ ......