В Windows, когда я запускаю свою оболочку pyspark, я получаю сообщение об ошибке:
2019-04-20 08:11:34 ERROR Shell:397 - Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
Однако после этой ошибки моя оболочка pyspark запускается нормально, и у меня нет проблем с запуском pyspark и выполнением кода на нем. Тем не менее, я получаю эту ошибку каждый раз, и я не знаю, как от нее избавиться.
У меня правильно настроены переменные среды (как многие предлагали для этой проблемы), и у меня есть winutils.exe в правильной папке bin. (У меня также есть winutils.exe и hadoop.dll в соответствующей папке bin Hadoop). Я считаю, что если бы эти вещи не были настроены, оболочка pyspark даже не сработала бы.
Для справки, мои переменные среды настроены как:
- HADOOP_HOME: C: \ hadoop
- SPARK_HOME: C: \ Spark \ spark-2.3.3-bin-hadoop2.7
- В Путь, который я поместил: C: \ Spark \ spark-2.3.3-bin-hadoop2.7 и C: \ hadoop \ bin.
Я поставил те же переменные для системных переменных (в дополнение к пользовательским переменным).
Hadoop также работает нормально и запускается (за исключением отображения пользовательского интерфейса 50070, хотя он отображает пользовательский интерфейс 8080, хотя это может быть отдельной проблемой).
Может ли это быть просто кэшированной ошибкой, которая не исчезнет? Любые предложения, чтобы избавиться от этого? Спасибо!