Я ищу помощь после стольких поисков в Google и до сих пор не могу решить мою проблему.
Я пытаюсь установить пакет pyspark в Python 3.6.7 и IDE. Я использую anaconda (64 бит) и запускаю мой код в spyder и имею 64-битную операционную систему Windows 10 Pro.
Я следил почти за всем веб-сайтом и пытался сделать то же самое для установки pyspark, но все еще получал ошибку при настройке SparkContext («local», «SparkFile App»).«).Мне кажется, что это ошибка Java, но я не знаю, что мне с ней делать.
Ниже приведена структура папок для установки
Для Java
C:\Program Files\Java\jdk1.8.0_191
ДляSpark (spark-2.4.0-bin-hadoop2.7)
C:\spark
Для Python
C:\Users\user\Anaconda3
Среда, которую я установил
SPARK_HOME=C:\spark
HADOOP_HOME=C:\spark
JAVA_HOME=C:\Program Files\Java\jdk1.8.0_191
PYSPARK_DRIVER_PYTHON=jupyter
PYSPARK_DRIVER_PYTHON_OPTS=notebook
PYTHONPATH=C:\Users\user\Anaconda3\python.exe
PATH=C:\Users\user\Anaconda3;C:\Users\user\Anaconda3\Scripts;C:\Users\user\Anaco
nda3\Library\bin;C:\spark\bin;C:\Program Files\Java\jdk1.8.0_191\bin;C:\spark\python\lib\py4j-0.10.7-src;C:\spark\python\lib\pyspark;%SPARK_HOME%\python\lib\py4j;%SPARK_HOME%\python\lib\pyspark;C:\Users\user\Anaconda3\python.exe
Я думаю, что яЯ испробовал почти все методы, доступные на веб-сайтах и приведенные выше настройки, - мои последние попытки.Мой Путь и окружение могут быть неправильными, но я не уверен в правильности пути.
Было бы очень полезно, если бы кто-то помог мне разобраться на языке неспециалистов.
Заранее благодарим за ваше драгоценное время,
Редактировать: Ниже приведена ошибка, которую я получаю
from pyspark import SparkContext
sc = SparkContext("local", "count app")
Traceback (последний последний вызов):
File "<ipython-input-1-520a7abb0d94>", line 2, in <module>
sc = SparkContext("local", "count app")
File "C:\Users\user\Anaconda3\lib\site-packages\pyspark\context.py", line 118, in __init__
conf, jsc, profiler_cls)
File "C:\Users\user\Anaconda3\lib\site-packages\pyspark\context.py", line 188, in _do_init
self._javaAccumulator = self._jvm.PythonAccumulatorV2(host, port)
File "C:\Users\user\Anaconda3\lib\site-packages\py4j\java_gateway.py", line 1525, in __call__
answer, self._gateway_client, None, self._fqn)
File "C:\Users\user\Anaconda3\lib\site-packages\py4j\protocol.py", line 332, in get_return_value
format(target_id, ".", name, value))
Py4JError: An error occurred while calling
None.org.apache.spark.api.python.PythonAccumulatorV2. Trace:
py4j.Py4JException: Constructor
org.apache.spark.api.python.PythonAccumulatorV2([class
java.lang.String, class java.lang.Integer]) does not exist
at py4j.reflection.ReflectionEngine.getConstructor(ReflectionEngine.java:179)
at py4j.reflection.ReflectionEngine.getConstructor(ReflectionEngine.java:196)
at py4j.Gateway.invoke(Gateway.java:237)
at py4j.commands.ConstructorCommand.invokeConstructor(ConstructorCommand.java:80)
at py4j.commands.ConstructorCommand.execute(ConstructorCommand.java:69)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)