Как управлять регистрацией Spark в IntelliJ - PullRequest
Новая
       11

Как управлять регистрацией Spark в IntelliJ

0 голосов
/ 02 апреля 2020

Я обычно работаю с JUnit, но я также пытался запустить с main, и это не имеет значения.


Я прочитал почти два десятка SO вопросов, постов в блогах и статьи и перепробовал почти все, чтобы заставить Spark перестать так много регистрировать


Что я пробовал:

log4j.properties в папке ресурсов (в src и test) Использование spark-submit добавить log4j.properties, что не удалось с "error: missing application resources" Logger.getLogger("com").setLevel(Level.WARN); Logger.getLogger("org").setLevel(Level.WARN); Logger.getLogger("akka").setLevel(Level.WARN);Logger.getRootLogger().setLevel(Level.WARN); spark.sparkContext().setLogLevel("WARN");

В другом проекте у меня было тихое ведение журнала: 

Logger.getLogger("org").setLevel(Level.WARN);
Logger.getLogger("akka").setLevel(Level.WARN);

, но оно здесь не работает.


Как я создаю свою SparkSession: 

SparkSession spark = SparkSession
    .builder()
    .appName("RS-LDA")
    .master("local")
    .getOrCreate();


Дайте мне знать, если вы хотите увидеть больше моего кода.

Спасибо

1 Ответ

0 голосов
/ 02 апреля 2020

Я использую IntelliJ и Spark, и эта работа для меня: 

Logger.getRootLogger.setLevel(Level.ERROR)

С уважением.

...