Проблемы установки Spark -TypeError: требуется целое число (получено байтов типа) - spark-2.4.5-bin-hadoop2.7, имело oop 2.7.1, python 3.8.2 - PullRequest
Новая
       30

Проблемы установки Spark -TypeError: требуется целое число (получено байтов типа) - spark-2.4.5-bin-hadoop2.7, имело oop 2.7.1, python 3.8.2

0 голосов
/ 21 апреля 2020

Я пытаюсь установить Spark на мой 64-битный компьютер Windows OS. Я установил python 3.8.2. У меня есть пип с версией 20.0.2. Я загружаю spark-2.4.5-bin-hadoop2.7 и устанавливаю переменные окружения как HADOOP_HOME, SPARK_HOME и добавляю pyspark в переменную пути. Когда я запускаю pyspark из cmd, я вижу ошибку, приведенную ниже: 

C:\Users\aa>pyspark
Python 3.8.2 (tags/v3.8.2:7b3ab59, Feb 25 2020, 23:03:10) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\shell.py", line 31, in <module>
    from pyspark import SparkConf
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\__init__.py", line 51, in <module>
    from pyspark.context import SparkContext
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\context.py", line 31, in <module>
    from pyspark import accumulators
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\accumulators.py", line 97, in <module>
    from pyspark.serializers import read_int, PickleSerializer
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\serializers.py", line 72, in <module>
    from pyspark import cloudpickle
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\cloudpickle.py", line 145, in <module>
    _cell_set_template_code = _make_cell_set_template_code()
  File "C:\Users\aa\Downloads\spark-2.4.5-bin-hadoop2.7\spark-2.4.5-bin-hadoop2.7\python\pyspark\cloudpickle.py", line 126, in _make_cell_set_template_code
    return types.CodeType(
TypeError: an integer is required (got type bytes)

Я хочу импортировать pyspark в мой код python, но в Pycharm, но после запуска файла кода я получаю сообщение об ошибке типа TypeError: требуется целое число (получено байтов типа) . Я удаляю python 3.8.2 и пробовал с python 2.7, но в этом случае я получаю ошибку амортизации. Я беру ошибку, приведенную ниже, и обновляю pip installer. 

Could not find a version that satisfies the requirement pyspark (from versions: )
No matching distribution found for pyspark

Затем я запускаю python -m pip install --upgrade pip для обновления pip, но у меня снова возникает проблема TypeError: an integer is required (got type bytes). 

C:\Users\aa>python --version
Python 3.8.2

C:\Users\aa>pip --version
pip 20.0.2 from c:\users\aa\appdata\local\programs\python\python38\lib\site-packages\pip (python 3.8)

C:\Users\aa>java --version
java 14 2020-03-17
Java(TM) SE Runtime Environment (build 14+36-1461)
Java HotSpot(TM) 64-Bit Server VM (build 14+36-1461, mixed mode, sharing)

Как я могу исправить и преодолеть проблему? В настоящее время у меня есть spark-2.4.5-bin-hadoop2.7 и python 3.8.2. Заранее спасибо!

...