Я смог успешно установить jdk, spark, scala, имел oop и установить переменные окружения. Я импортировал pyspark и SparkSession в свой блокнот. Но при создании сеанса я получил сообщение об ошибке:
FileNotFoundError: [WinError 2] The system cannot find the file specified SparkSession.builder.appName('Basics').getOrCreate()
Это был код, который я использовал для создания сеанса.
spark = SparkSession.builder.appName('Basics').getOrCreate()
Чтобы решить эту проблему, я попробовал несколько вещей. Я наткнулся на этот код, сообщение о котором я не могу запустить spark в командной строке или импортировать в записную книжку.
import os
print(os.environ.get("SPARK_HOME"))
print(os.path.join(os.environ.get("SPARK_HOME"), './bin/spark-submit.cmd'))
Я попытался сбросить переменные среды, но это не сработало. Я также попытался переустановить pyspark из командной строки, который не работал.
Спасибо за помощь!