IndexError: список индексов вне диапазона при импорте findspark.init

Question

У меня есть следующая ошибка IndexError: list index out of range в моем блокноте jupyter, когда я пытаюсь импортировать

import findspark
findspark.init()

Я знаю, что ответ уже существует в этой ссылке , (так что это НЕ дубликат) однако, когда я запустил which spark-shell, вывод: /opt/anaconda3/bin/spark-shell, который дает мне каталог, и поэтому я запустил:

import findspark
findspark.init('/opt/anaconda3/bin/spark-shell')

И я получаю ту же ошибку. Как я могу это исправить? Спасибо.

Answer 1

хочет искры домой, а не исполняемый файл. Вероятно, у вас должна быть переменная окружения $SPARK_HOME, она есть?

Если нет, попробуйте выполнить одно из следующих действий:

ls -la /opt/anaconda3/bin/spark-shell
readlink -f /opt/anaconda3/bin/spark-shell

Это покажет вам, где находится настоящая папка bin в spark home. Вы просто используете часть этого пути в инициализации.

Я думаю, что если вы установите SPARK_HOME позже, найдите искры без необходимости указывать путь.