Анаконда с spyder: ImportError: не может импортировать имя 'SparkConf' - PullRequest
Новая
       16

Анаконда с spyder: ImportError: не может импортировать имя 'SparkConf'

0 голосов
/ 09 мая 2018

У меня pyspark установлено на testenv в Anaconda (с помощью: conda install -c conda-forge pyspark), оно здесь (я думаю)

/Users/myuser/anaconda3/envs/testenv1/lib/python3.6/site-packages/pyspark/python/pyspark

Этот путь существует, затем я начинаю spyder:

(testenv1) ➜ ~ spyder

И этот код выдает ошибку ниже, я думал, что site-packeges автоматически «включается», или это другая проблема? 

import os
os.environ['SPARK_HOME'] = "/Users/myuser/anaconda3/envs/testenv1/lib/python3.6/site-packages/pyspark" # Not working but also not sure why I need to add this line at all pyspark appears to be in `site-packages`

from pyspark import SparkConf, SparkContext

conf = SparkConf().setMaster("local").setAppName("WordCount")
sc = SparkContext(conf = conf)

И я получаю следующую ошибку: 

runfile('/Users/myuser/dev/projects/python-snippets/pyspark.py', wdir='/Users/myuser/dev/projects/python-snippets')
Traceback (most recent call last):

  File "<ipython-input-1-969f4e596614>", line 1, in <module>
    runfile('/Users/myuser/dev/projects/python-snippets/pyspark.py', wdir='/Users/myuser/dev/projects/python-snippets')

  File "/Users/myuser/anaconda3/envs/testenv1/lib/python3.6/site-packages/spyder/utils/site/sitecustomize.py", line 705, in runfile
    execfile(filename, namespace)

  File "/Users/myuser/anaconda3/envs/testenv1/lib/python3.6/site-packages/spyder/utils/site/sitecustomize.py", line 102, in execfile
    exec(compile(f.read(), filename, 'exec'), namespace)

  File "/Users/myuser/dev/projects/python-snippets/pyspark.py", line 13, in <module>
    from pyspark import SparkConf, SparkContext

  File "/Users/myuser/dev/projects/python-snippets/pyspark.py", line 13, in <module>
    from pyspark import SparkConf, SparkContext

ImportError: cannot import name 'SparkConf'

Обратите внимание, что я попытался обновить интерпретатор python в spyder до: /Users/myuser/anaconda3/envs/testenv1/bin/python3.6, но я получаю точно такую ​​же ошибку.

1 Ответ

0 голосов
/ 14 мая 2018

Является ли python-snippets/pyspark.py вашим файлом? Если да, то вам не следует использовать имя pyspark.py, так как оно будет конфликтовать с оригинальным пакетом pyspark.

Пожалуйста, переименуйте файл в другое, и он должен работать

...