log4j.properties в SPARK 2.4.4

Question

Я установил Saprk Apache 2.4.4 с Python 3.7.6, эта установка работает, но проблема в том, что она вызывает у меня несколько ошибок, особенно log4j, которую я хотел бы исправить. Я следовал этим инструкциям, но ошибка по-прежнему отображается.

"Установите для свойства log4j.rootCategory значение WARN, console. Сохраните файл log4j.properties."

Answer 1

Вам необходимо скачать winutils.exe.Path https://github.com/steveloughran/winutils

Это необходимо для запуска спарка в windows. И сохранения его в пути (создайте путь, если его нет) C: \ winutils \ bin.

Ссылка Spark 1.6 - не удалось найти двоичный файл winutils в бинарном пути oop