pyspark недоступен в python 27

Question

Спасибо за вашу помощь, как всегда. У меня ниже версия spark и python в моей системе

Spark =: spark-2.1.0-bin-hadoop2.7
Python := Python27

Я использую ноутбук Jupyter, и пока я выполняю команду ниже, она показывает "modulenotfounderror no module с именем 'pyspark'"

* Код 1005 * приведен ниже:

from pyspark.sql import SparkSession
from pyspark.sql.functions import expr,col,column

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.some.config.option", "some-value") \
    .getOrCreate()

#df = spark.read.csv("C:\Spark\spark-2.4.0-bin-hadoop2.7\python\Sample_Test_Data\EMPLOYEES.csv",header=True,sep=",");

#df.filter(col("SALARY")>17000).show(3)

PATH VARIABLE WHICH I HAVE SET ON MY MACHINE IS 

PATH 

C:\Python27;C:\Spark\spark-2.1.0-bin-hadoop2.7\bin

PYSPARK_PYTHON

C:\Python27 -->Phyton is installed here 

SPARK_HOME

C:\Spark\spark-2.1.0-bin-hadoop2.7\bin

Примечание. У меня также установлено Python 37 в моей системе, но я не могу использовать его с Spark 2.1 версией, поэтому я использую Phyton 27 версию.

Пожалуйста, если вы знаете что-то о, дайте мне знать.

Благодарю вас, Анураг Чаудхари

Answer 1

Spark =: spark-2.1.0-bin-hadoop2.7

Похоже, у вас есть код, который говорит C:\Spark\spark-2.4.0-bin-hadoop2.7 ??

---

Кроме того, в Spark (2.1.0) документы

Spark работает на Java 7+, Python 2.6 + / 3.4 +

поэтому я подозреваю, что Python3 .7 работает нормально ...

---

В любом случае, Python модули не имеют ничего общего с вашей переменной PATH.

Вы можете pip install pyspark или использовать findspark