Как подавить logLevel только к ошибкам в команде отправки Pyspark. Я попробовал ниже в скрипте .py, но он по-прежнему генерирует все журналы предупреждений. Я использую Python 2.6.6 на Spark v2.2.0 Пожалуйста, сообщите
from pyspark.sql import SparkSession
import re,sys
spark = SparkSession.builder.appName('Basics').enableHiveSupport().getOrCreate()
spark.sparkContext.setLogLevel("ERROR")