Как я могу сохранить вывод журнала искры при запуске на моем локальном компьютере через intellij?

Question

Я занимаюсь разработкой программного обеспечения на основе scala-spark, и мне нужно сначала протестировать его на моей локальной машине. Всякий раз, когда я запускаю свой класс, я получаю вывод через Intellij IDEA и хочу сохранить его, так как Intellij не может показать полный журнал, он показывает только «несколько» строк.

Заранее спасибо.

P.S. Я прилагаю скриншот того, о чем я говорю, извините за синюю краску, но это конфиденциальная информация. вывод я хочу сохранить

Answer 1

Spark использует log4j для ведения журнала. Конфигурация по умолчанию записывается в консоль. Вам нужно передать ему другой файл log4j.properties, либо изменив существующий файл в папке conf, либо передав другой файл через опцию -Dlog4j.configuration=file:/path/to/log4j.properties.

Вы также можете увеличить буфер вывода консоли IntelliJ , чтобы он не усекался.