Я работаю в кластере с 3 узлами HDP (2 датода, 1 наменод) на 3 разных виртуальных машинах, отслеживаемых с помощью Ambari. Я запускаю свои искровые задания с помощью Yarn и пытаюсь реализовать собственные журналы.
Я установил в спарк-архиве файл log4j.properties на каждой машине:
log = /var/log
log4j.rootLogger = WARN, FILE
# Define the file appender
log4j.appender.FILE=org.apache.log4j.FileAppender
log4j.appender.FILE.File=${log}/log.out
# Define the layout for file appender
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.conversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
Моя проблема заключается в том, что журналы сохраняются только на компьютере, на котором запущен драйвер. Поскольку я использую пряжу в режиме кластера, конечно, я не хочу искать, на какой машине сохраняются журналы каждый раз, когда я запускаю приложение
Как автоматически реплицировать логи на каждом узле?
Спасибо заранее