PySpark не запускается - Windows 10 - PullRequest
0 голосов
/ 03 августа 2020

Я пытаюсь настроить Spark для Python - на машине windows 10 pro. Однако после следующих шагов:

  • Установлен Anaconda с Python 3.7
  • Установлен JDK 8
  • Установлен предварительно собранный Spark 2.4.6 с has oop 2.7
  • Загружено winutils.exe
  • Настройка всех переменных среды, а также настройка пути пользователя
  • Создана папка C: \ tmp \ hive
  • Используется команда winutils.exe chmod -R 777 C: \ tmp \ hive успешно

Когда я пытаюсь запустить pyspark через командную строку, выводится следующий текст, и после этого ничего не происходит - также нет ошибки?

(base) C:\Spark\bin>pyspark
Python 3.7.6 (default, Jan  8 2020, 20:23:39) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32 Type "help", "copyright", "credits" or "license" for more information. 
20/08/03 07:49:58 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).

НАКОНЕЦ через 1 + час эта ошибка печатается:

Traceback (most recent call last):
  File "C:\Program Files\Python37\lib\socket.py", line 589, in readinto
    return self._sock.recv_into(b)
ConnectionResetError: [WinError 10054] An existing connection was forcibly closed by the remote host

Во время обработки вышеуказанного исключения произошло другое исключение:

Traceback (most recent call last):
  File "C:\Spark\python\pyspark\shell.py", line 41, in <module>
    spark = SparkSession._create_shell_session()
  File "C:\Spark\python\pyspark\sql\session.py", line 573, in _create_shell_session
    return SparkSession.builder\
  File "C:\Spark\python\pyspark\sql\session.py", line 173, in getOrCreate
    sc = SparkContext.getOrCreate(sparkConf)
  File "C:\Spark\python\pyspark\context.py", line 367, in getOrCreate
    SparkContext(conf=conf or SparkConf())
  File "C:\Spark\python\pyspark\context.py", line 136, in __init__
    conf, jsc, profiler_cls)
  File "C:\Spark\python\pyspark\context.py", line 198, in _do_init
    self._jsc = jsc or self._initialize_context(self._conf._jconf)
  File "C:\Spark\python\pyspark\context.py", line 306, in _initialize_context
    return self._jvm.JavaSparkContext(jconf)
  File "C:\Spark\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1523, in __call__
  File "C:\Spark\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 985, in send_command
  File "C:\Spark\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1152, in send_command
  File "C:\Program Files\Python37\lib\socket.py", line 589, in readinto
    return self._sock.recv_into(b)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...