Я пытаюсь добавить регистратор к коду scala, который я запускаю на EMR с помощью команды spark-submit. Я попытался создать файл свойств, а затем определить регистратор. Также передал файл свойств регистратора в конфигурацию spark.
Но все же я не вижу ничего записываемого в журналы вывода EMR.
Добавлены зависимости sbt
"org.slf4j" % "slf4j-api" % "1.7.28",
"org.slf4j" % "slf4j-simple" % "1.7.28",
Содержание файла свойств
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target=System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
object build_datalake_partition {
val logger = LoggerFactory.getLogger(classOf[build_datalake_partition])
logger.info("Logger initiated.")
val spark = SparkSession.builder()
.appName("build_datalake_partition")
.enableHiveSupport()
.getOrCreate()
def main(args: Array[String]) {
// Futher spark code
}
Также попытался добавить эти параметры в submit
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties
--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j.properties