PySpark WARN сообщения

Question

Как отключить следующие сообщения WARN при запуске кода PySpark:

Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
18/06/08 21:04:55 WARN SparkConf: In Spark 1.0 and later spark.local.dir will be overridden by the value set by the cluster manager (via SPARK_LOCAL_DIRS in mesos/standalone and LOCAL_DIRS in YARN).
18/06/08 21:04:55 WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.

Я потратил некоторое время, играя с log4.properties, но не могу точно определить, какой класс регистрирует их.

Answer 1

поместите это в ваш инициал контекста искры:

sc.setLogLevel("INFO")