Как отключить сообщения «Сгенерированный код» и «Очищенный аккумулятор» в Spark

Question

Я написал искорку.Работа прошла без проблем.Однако, когда я просматриваю свой файл журнала ошибок, я вижу так много сообщений типа

[error] 18/11/25 17:28:14 INFO CodeGenerator: Code 
generated in 16.947005 ms

и

[error] 18/11/25 17:28:15 INFO ContextCleaner: Cleaned
accumulator 239819

и

[error] 18/11/25 17:28:06 INFO BlockManagerInfo: Removed 
broadcast_13354_piece0 on 192.168.2.101:43753 in memory 
(size: 20.5 KB, free: 6.2 GB)

Есть ли способподавить эти сообщения.они просто раздувают мой лог-файл.

Не уверен, почему spark сообщает об этом как об ошибке.когда они выглядят как отладочные сообщения.

Answer 1

когда вы создаете объект SparkContext, используйте следующий код с ним для установки уровня журнала в соответствии с требованием:

sparkContext.setLogLevel("WARN")

В приведенной выше строке будет установлен уровень журнала для Spark до WARN и вы не получите никаких журналов уровня INFO или DEBUG.