Ошибка вывода индекса из списка findspark.init ()

Question

При использовании findspark.find () мне дается путь, по которому устанавливается spark, но при попытке findspark.init (path) я получаю список ошибок индекса вне диапазона, используя jupyter notebook

Я убедился, что мои переменные SPARK_HOME и PATH также правильно установлены

ниже кодовых выходов искра домой путь

import findspark
findspark.find()

инициализация с выходом вышеупомянутого искрового исходного пути

import findspark
findspark.init(path)

выбрасывает индекс списка из-за ошибки диапазона

    133     # add pyspark to sys.path
    134     spark_python = os.path.join(spark_home, 'python')
--> 135     py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip'))[0]
    136     sys.path[:0] = [spark_python, py4j]
    137 

    IndexError: list index out of range

Я не понимаю, как он может вывести правильный путь, но не может инициализировать искру

Answer 1

Я решил эту проблему, переместив каталоги Spark и Hadoop на диск C, на котором установлены anaconda и jupyter.Затем обновите переменные среды SPARK_HOME и PATH, чтобы отразить новые места назначения.

После внесения вышеуказанных изменений и перезапуска моего терминала я смог подключиться к свече через ноутбук Jupyter и выполнить код.