Как записать в журнал ошибки и предупреждения на уровне Pyspark?

Question

Я пытался установить уровень журнала как error или warn, но любопытно, как захватить оба?

Я пытался в pyspark

sc.setLogLevel("ERROR")
sc.setLogLevel("WARN")

В DebugЯ получаю много дополнительной информации, так же как и с info или default, буду признателен, если кто-нибудь сможет предложить лучшее решение для получения только ошибок и предупреждений.

Answer 1

Если вы установите значение WARN, оно также будет фиксировать журналы ERROR.

Это иерархическая структура уровня журнала. Уровень

• ERROR выше WARN в иерархии, поэтому журналы WARN будут игнорироваться, если для LogLevel установлено значение ERROR. Но поскольку WARN ниже ERROR в иерархии, и вы установите LogLevel на WARN, он также покажет вам ERROR журналы.