Проблемы запуска Spark в Cygwin (Scala, PySpark) - PullRequest
0 голосов
/ 04 марта 2019

Я пытаюсь запустить обе искровые консоли (scala и pyspark).Оба прекрасно работают в Windows CMD, но у меня возникают проблемы в Cygwin.Любой совет приветствуется.

enter image description here

enter image description here

enter image description here

Соответствующий env опубликован ниже:

HADOOP_HOME=C:\dev-tools\hadoop\winutils
EXEPATH=C:\dev-tools\git\git-20.2.1
JAVA_HOME=C:\dev-tools\java\jdk1.8.0_191
SPARK_HOME=C:\dev-tools\spark\spark-2.4.0-bin-hadoop2.7
JRE_HOME=C:\dev-tools\java\jdk1.8.0_191\jre
PYSPARK_PYTHON=C:\dev-tools\python\python.exe
PATH=/c/Users/adwad/bin:/mingw64/bin:/usr/local/bin:/usr/bin:/bin:/mingw64/bin:/usr/bin:/c/Users/adwad/bin:/c/Program Files (x86)/Intel/Intel(R) Management Engine Components/iCLS:/c/Program Files/Intel/Intel(R) Management Engine Components/iCLS:/c/Windows/system32:/c/Windows:/c/Windows/System32/Wbem:/c/Windows/System32/WindowsPowerShell/v1.0:/c/Windows/System32/OpenSSH:/c/Program Files (x86)/Intel/Intel(R) Management Engine Components/DAL:/c/Program Files/Intel/Intel(R) Management Engine Components/DAL:/c/Program Files (x86)/Intel/Intel(R) Management Engine Components/IPT:/c/Program Files/Intel/Intel(R) Management Engine Components/IPT:/c/Program Files/Intel/WiFi/bin:/c/Program Files/Common Files/Intel/WirelessCommon:/c/dev-tools/java/jdk1.8.0_191/bin:/c/dev-tools/git-extensions/git-extensions-3.0:/c/dev-tools/python/Scripts:/c/dev-tools/python:/c/Users/adwad/AppData/Local/Microsoft/WindowsApps:/c/dev-tools/intellij/intellij-idea-2018.3.2/bin:/c/dev-tools/spark/spark-2.4.0-bin-hadoop2.7/bin:/usr/bin/vendor_perl:/usr/bin/core_perl
PYSPARK_SUBMIT_ARGS=""
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...