Я совершенно новичок в Spark и обладаю только ограниченными знаниями для Python. В течение недели я пытался установить Spark и подключиться к Pycharm, следуя этой YouTube: https://www.youtube.com/playlist?list=PLf0swTFhTI8pYbd8mr36LiYIOOY2xw5Iu
Однако мне пришлось использовать python 3.7 вместо python 2.7 , Имел oop 2.7.1 и версию Spark 2.4.5. Ой, также использовал jdk 1.8.0_251
Мне удалось настроить переменные среды:
- HADOOP_HOME = C: \ spark \ had oop
- JAVA_HOME = C: \ Program Files \ Java \ jdk1.8.0_251
- SPARK_HOME = C: \ spark \ spark-2.4.5-bin-hadoop2.7
для пути это было сделано так: C: \ Program Files \ Java \ jdk-14 \ bin C: \ Python37% JAVA_HOME% \ bin% HADOOP_HOME% \ bin% SPARK_HOME% \ bin
поэтому, когда я попробовал примеры кодов из видео на командной панели, он обнаружил SPARK и мог использовать s c .textFile (""). First (), чтобы показать первую строку текстового файла.
ПРОБЛЕМА , которая произошла, когда я подключил Spark к Pycharm. Как вы можете видеть здесь, я правильно добавил контент root, следуя предыдущему видео.
снимок экрана со структурой моего проекта для добавления spark и py4j.zip
Однако, когда я захотел запустить программу,
код, который я пытался
, распечатал эту ошибку.
Traceback (самая последняя последний вызов): файл "C: / Users / hp / PycharmProjects / FYPJ / sparkDemo.py", строка 4, в s c = SparkContext ("local", appName = "MyApp") File "C : \ spark \ spark-2.4.5-bin-hadoop2.7 \ python \ pyspark \ context.py ", строка 133, в init SparkContext._ensure_initialized (self, gateway = gateway, conf = conf) Файл "C: \ spark \ spark-2.4.5-bin-hadoop2.7 \ python \ pyspark \ context.py", строка 316, в _ensure_initialized SparkContext._gateway = gateway или файле launch_gateway (conf) "C : \ spark \ spark-2.4.5-bin-hadoop2.7 \ python \ pyspark \ java_gateway.py ", строка 46, в launch_gateway вернуть _launch_gateway (conf) файл" C: \ spark \ spark-2.4.5- бен-hadoop2.7 \ python \ pyspark \ java_gateway.py ", строка 101, в _launch_gateway pro c = Popen (команда, stdin = PIPE, env = env) Файл" C: \ Python37 \ lib \ subprocess.py ", строка 756, в init restore_signals, start_new_session) Файл "C: \ Python37 \ lib \ subprocess.py", строка 1155, в _execute_child startupinfo) FileNotFoundError: [WinError 2] 지정된 파일 을 찾을 수 없습니다
Когда я искал в Google, чтобы найти ошибку, я подозревал, что причина в том, что моя папка с файлами была неправильной. Поэтому я попытался "/datasets/kddcup.data.txt" et c, но безрезультатно ...
Пожалуйста, помогите мне решить эту проблему, спасибо за чтение глупого вопроса новичка. Я предоставлю любую информацию, необходимую для решения этой проблемы, если этой информации недостаточно. Еще раз спасибо.