PySpark 2.4.4 был установлен с помощью pip на компьютере с Windows.
SparkSession используется для начальной загрузки сеанса pyspark с master, установленным в local.
Все работает, как и ожидалось, за исключениемпереопределение свойств log4j по умолчанию.
Я попытался установить директорию spark conf. Добавление каталога conf в домашний каталог spark с файлом свойств. Установка дополнительных параметров конфигурации в SparkSession, но, похоже, ничего не происходит.
Независимо от того, что я делаю, log4j.proprerties, как представляется, игнорируется.
Как настроить сеанс spark для использованияфайл переопределения log4j.properties ...