Я пытаюсь настроить pyspark на Intellij-Idea. Всякий раз, когда я пытаюсь запустить любой пример кода pyspark, я получаю «ModuleNotFoundError» для pyspark.
Я использую эти переменные среды для настройки: -
SPARK_HOME="/usr/local/spark-2.3.3-bin-hadoop2.7"
PYTHONPATH="/usr/local/spark-2.3.3-bin-hadoop2.7/python"
SPARK_SUBMIT_ARGS="pyspark-shell"
Following is the output for print(sys.path)
['/home/ashuser/IdeaProjects/PysparkTutorials',
'/usr/local/Python-3.7.3',
'/home/ashuser/IdeaProjects/PysparkTutorials',
'/usr/lib/python37.zip', '/usr/lib/python3.7',
'/usr/lib/python3.7/lib-dynload',
'/usr/local/lib/python3.7/dist-packages',
'/usr/lib/python3/dist-packages']