Я пытаюсь установить PySpark в Linux, но когда я следую нескольким руководствам, он все равно выдает ошибку, когда я пытаюсь запустить pyspark в терминале. Это все еще дает мне сообщение Error: Pyspark not found.
Вот что у меня есть:
в ~.bashrc внизу:
export SPARK_PATH=~/spark-2.3.0-bin-hadoop2.7
export $SPARK_PATH/bin/pyspark --master local[2]
А в ls
root@kali~ spark-2.3.0-bin-hadoop2.7
Python версия
Python 2.7.14+ (default, Dec 5 2017, 15:17:02)
[GCC 7.2.0] on linux2
Java-версия
openjdk version "10.0.1" 2018-04-17
OpenJDK Runtime Environment (build 10.0.1+10-Debian-4)
OpenJDK 64-Bit Server VM (build 10.0.1+10-Debian-4, mixed mode)
Редактировать: Я пытался использовать source .bashrc, но выдает ошибку:
bash: export: `/root/spark-2.3.0-bin-hadoop2.7/bin/pyspark': not a valid identifier
bash: export: `--master': not a valid identifier
bash: export: `local[2]': not a valid identifier
Как я могу добавить это в коде, не получая ошибку?
Edit2: @Ramesh Maharjan решил проблему с .bashrc, однако я все еще получаю ошибку Java, если пытаюсь запустить Spark:
/usr/local/lib/python2.7/dist-packages/pyspark/bin/spark-class: line 71:
/usr/lib/jvm/java-8-oracle/bin/java: No such file or directory