Pyspark Система не может найти указанный путь

Question

Я новичок в pyspark. Я установил Pyspark на мою windows машину

Я скачал apache spark с URL-адрес загрузки Spark

Я установил HADOOP_HOME и SPARK_HOME в переменных среды

переменная пути

my SPARK_HOME = C: \ spark \ spark-2.4.4-bin-hadoop2.7

my HADOOP_HOME = C: \ spark \ spark-2.4.4-bin-hadoop2.7

Но при вводе pyspark в командной строке я получаю

Система не может найти указанный путь.

Даже если я иду в каталог bin и выполняю pyspark, он выдает то же исключение

Не уверен, что я здесь пропустил. Пожалуйста, помогите мне здесь

Answer 1

Установите путь, как указано ниже:

Java

JAVA_HOME = C: \ Program Files \ Java \ jdk1.8.0_73

PATH = C: \ Program Files \ Java \ jdk1.8.0_73 \ bin

Имеет oop

Создайте папку Hadoop / bin и поместите файл winutils.exe в папку bin.

HADOOP_HOME = C: \ Had oop

PATH = C: \ Hadoop \ bin

Spark

Скачать любую версию искры ( например: spark-2.4.4-bin-hadoop2.7)

SPARK_HOME = C: \ software \ spark-2.3.1-bin-hadoop2.7

PATH = C: \ программное обеспечение \ искровым 2.3.1-бен-hadoop2.7 \ Bin

Answer 2

Самый простой способ установить свечу - использовать python findspark

pip install findspark

import findspark

finspark.init('\path\to\extracted\binaries\folder')

import pyspark