Отдельные файлы журналов работы Flink при работе в одном сеансе пряжи

Question

Когда мы запускаем несколько заданий Flink в одной сессии пряжи.Мы обнаружили, что журналы всех заданий записываются в один и тот же файл «taskmanager.log». Нам сложно проверить журналы определенного задания.Есть ли какой-либо подход к их разделению?

Кроме того, если наши задания на порыв выполняются в течение длительного периода, как разделить файлы журнала по дате?

Answer 1

Насколько я знаю, в любом случае нет разделения журналов для одного задания, кроме запуска отдельного кластера для каждого задания.Более того, многое из того, что регистрируется, на самом деле не относится к конкретной работе.

Чтобы настроить ротацию журнала, вы можете поместить что-то подобное в файл log4j.properties в каталоге flink / conf:

log4j.appender.file=org.apache.log4j.RollingFileAppender 
log4j.appender.file.File=${log.file} log4j.appender.file.MaxFileSize=1000MB 
log4j.appender.file.MaxBackupIndex=0 log4j.appender.file.append=false 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %-5p %-60c %x - %m%n