findspark.init () IndexError: список индексов вне диапазона: PySpark в Google Colab

Question

Я пытаюсь установить PySpark на Colab.

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://www-us.apache.org/dist/spark/spark-2.4.1/spark-2.4.1-bin-hadoop2.7.tgz
!tar xf spark-2.4.1-bin-hadoop2.7.tgz
!pip install -q findspark

После установки вышеперечисленных вещей я настроил среду следующим образом:

import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-2.2.1-bin-hadoop2.7"

После этого я попытался инициализировать pyspark следующим образом и в результате получил ошибку.

import findspark
findspark.init()

Ошибка:

IndexError                                Traceback (most recent call last)

<ipython-input-24-4e91d34768ac> in <module>()
      1 import findspark
----> 2 findspark.init()

/usr/local/lib/python3.6/dist-packages/findspark.py in init(spark_home, python_path, edit_rc, edit_profile)
    133     # add pyspark to sys.path
    134     spark_python = os.path.join(spark_home, 'python')
--> 135     py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip'))[0]
    136     sys.path[:0] = [spark_python, py4j]
    137 

IndexError: list index out of range

Answer 1

Можете ли вы попробовать установить

os.environ["SPARK_HOME"] = "/content/spark-2.2.1-bin-hadoop2.7"

до той же версии искры, что и у вашей установки выше? В вашем случае это будет 2.4.1, а не 2.2.1.

os.environ["SPARK_HOME"] = "/content/spark-2.4.1-bin-hadoop2.7"