Выберите версию PySpark в сессии IPython

Question

У нас есть две доступные версии Spark (1.6 и 2.1).Я установил переменные окружения (например, SPARK_MAJOR_VERSION=2) так, чтобы при непосредственном открытии pyspark или spark-shell он использовал Spark 2.1.Однако, когда я пытаюсь импортировать pyspark в сеансе IPython, он использует Spark 1.6.Как мне настроить его на использование 2.1 по умолчанию?

Answer 1

Я смог решить эту проблему, установив следующие переменные среды:

export SPARK_HOME=/usr/hdp/2.6.1.0-129/spark2/
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

и добавив следующее в мой запуск IPython:

import sys
import os

os.environ['SPARK_HOME'] = "/usr/hdp/2.6.1.0-129/spark2/"
sys.path.append("/usr/hdp/2.6.1.0-129/spark2/python")
sys.path.append("/usr/hdp/2.6.1.0-129/spark2/python/build")