Обновление pyspark 2.02 до 2.3 не запускается

Question

У меня есть настройка кластера pyspark на ubuntu 16.xxx, и я пытаюсь обновить свою версию pyspark с 2.0.2 до 2.3.

Я изначально установил pyspark напрямую:

wget http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz
sudo tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz
sudo mv spark-2.0.2-bin-hadoop2.7 /usr/local/spark
sudo chown -R hduser:hadoop /usr/local/spark/

На этот раз я использовал pip:

sudo pip install pyspark --upgrade

Requirement already up-to-date: pyspark in /usr/local/lib/python2.7/dist-packages (2.3.2)

, но когда я запускаю искру, она все еще достигает 2.0.2:

sbin/start-all.sh

 pyspark --version

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.0.2
      /_/

Что мне нужно изменить, чтобывместо этого запускается 2.3?

Спасибо!