Почему при импорте pyspark в python3 требуется доступ суперпользователя на моей машине с Linux? - PullRequest
Новая
       10

Почему при импорте pyspark в python3 требуется доступ суперпользователя на моей машине с Linux?

0 голосов
/ 10 ноября 2018

Я установил pyspark, используя pip3. Всякий раз, когда я пытаюсь import pyspark в python3, я получаю сообщение об ошибке: 

import pyspark
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError:avinash@avinash-HP-ProBook-445-G1:~$ python3
Python 3.7.0 (default, Jun 28 2018, 13:15:42) 
[GCC 7.2.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
import pyspark
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ModuleNotFoundError: No module named 'pyspark'

С другой стороны, когда я использую sudo python3, все работает отлично!

Аналогичная вещь происходит и в ноутбуке Jupyter, мне нужно сделать sudo jupyter notebook --allow-root, чтобы импортировать pyspark

Однако импорт других пакетов, таких как numpy, работает нормально и без sudo, который также установлен с pip3.

Обновление: я установил pyspark с помощью sudo pip3 install pyspark, попытался удалить его, а затем установить без sudo, т.е. pip3 install pyspark, но он выдает ошибку:

Could not install packages due to an EnvironmentError: [Errno 13] Permission denied: '/usr/local/lib/python3.6/dist-packages/pyspark-2.4.0.dist-info' Consider using the --user option or check the permissions.

Странно то, что в каталоге /usr/local/lib/python3.6/dist-packages/pyspark-2.4.0.dist-info.

нет файла с именем ' pyspark-2.4.0.dist-info ', как указано в сообщении об ошибке.

Я также пытался дать разрешение (777) на вышеупомянутый каталог.

1 Ответ

0 голосов
/ 11 ноября 2018

Судя по полученной ошибке, кажется, вы используете Anaconda в Linux.В таком случае вам необходимо установить pyspark, используя следующую команду: 

conda install -c conda-forge pyspark
...