Настройка среды

Question

Я использую Google Colab Laboratory, чтобы по какой-то причине узнать о Pyspark при запуске настроенной среды. Я получаю сообщение об ошибке, которое, по-видимому, возникает при переходе с одного ноутбука на другой.

сообщение об ошибке: IndexError Traceback(последний вызов был последним) в () 4 5 импорт findspark ----> 6 findspark.init () 7 из pyspark import SparkContext 8 sc = SparkContext.getOrCreate ()

 /usr/local/lib/python3.6/dist-packages/findspark.py in init(spark_home, 
 python_path, edit_rc, edit_profile)
133     # add pyspark to sys.path
134     spark_python = os.path.join(spark_home, 'python')
 --> 135     py4j = glob(os.path.join(spark_python, 'lib', 'py4j-*.zip')) 
[0]
136     sys.path[:0] = [spark_python, py4j]
137 

IndexError: list index out of range

Код, предоставленныйGoogle для настройки env

 import os
 os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
 os.environ["SPARK_HOME"] = "/content/spark-2.3.1-bin-hadoop2.7"

 import findspark
 findspark.init()
 from pyspark import SparkContext
 sc = SparkContext.getOrCreate()

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate() 
spark

Answer 1

Вам нужно будет установить spark перед запуском фрагмента выше.Вот скорректированный рецепт, который работает для меня со свежим бэкэндом Colab:

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q http://apache.osuosl.org/spark/spark-2.3.2/spark-2.3.2-bin-hadoop2.7.tgz
!tar xf spark-2.3.2-bin-hadoop2.7.tgz
!pip install -q findspark

import os
import findspark
findspark.init('/content/spark-2.3.2-bin-hadoop2.7/')
from pyspark import SparkContext
sc = SparkContext.getOrCreate()

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate() 
spark