Есть ли способ изменить формат вывода spark-submit

Question

Я запускаю скрипт на python из spark-submit, вывод stdout из скрипта выводится командой spark-submit следующим образом:

[dd-MM-yyyy HH:MM] Line1
[dd-MM-yyyy HH:MM] Line2
[dd-MM-yyyy HH:MM] Line3

Есть ли способ заставить его выводиться так:

Line1
Line2
Line3

Я знаю, что могу просто проанализировать вывод, но я пытаюсь сделать код чище для чтения, и в идеале мне не нужно жестко кодировать формат анализируемой строки.

Answer 1

Spark использует Log4j для регистрации. Шаблон конфигурации можно найти в conf/log4j.properties.template. Скопируйте этот файл в тот же каталог с именем log4j.properties. Тогда чан линия:

log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

до:

log4j.appender.console.layout.ConversionPattern=%c{1}: %m%n

Но я не уверен, что это правильное решение.