Я только что установил Anaconda, Apache spark, Pyspark, Scala на новую установку Linux Mint (все последние версии).
Чтобы проверить установку, я попытался запустить spark-submit в терминале, но получаюследующая ошибка:
File "/home/jessica/anaconda/bin/find_spark_home.py", line 74, in <module>
print(_find_spark_home())
File "/home/jessica/anaconda/bin/find_spark_home.py", line 56, in _find_spark_home
module_home = os.path.dirname(find_spec("pyspark").origin)
AttributeError: 'NoneType' object has no attribute 'origin'
/home/jessica/anaconda/bin/spark-submit: line 27: /bin/spark-class: No such file or directory
Я вижу, что команда ищет в /bin/ вместо (правильной) /usr/local/spark/bin.
Моя $PATH переменная содержит следующее:/usr/local/spark/bin:/home/jessica/anaconda/bin:/usr/bin:/bin:/usr/sbin:/sbin:/usr/local/bin::/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games
У меня также есть переменная env с именем $SPARK_HOME, которая содержит /usr/local/spark/.
Как я могу сказать моей системе искать в правильном каталоге вместо этого?