Как перейти на более старую версию Pyspark? - PullRequest
Новая
       38

Как перейти на более старую версию Pyspark?

0 голосов
/ 13 апреля 2020

У меня на компьютере установлен pyspark 2.4.4 c. 

➜  ~ pyspark --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.4
      /_/

Using Scala version 2.11.12, OpenJDK 64-Bit Server VM, 1.8.0_222
Branch
Compiled by user  on 2019-08-27T21:21:38Z
Revision
Url
Type --help for more information.

Мне нужно вернуться к более старой версии 2.3.2. 

➜  ~ pip install pyspark==2.3.2
Collecting pyspark==2.3.2
Requirement already satisfied: py4j==0.10.7 in /workspace/anaconda3/lib/python3.6/site-packages (from pyspark==2.3.2) (0.10.7)
Installing collected packages: pyspark
  Found existing installation: pyspark 2.4.4
    Can't uninstall 'pyspark'. No files were found to uninstall.
Successfully installed pyspark-2.3.2

Во время работы Команда выше выглядит так, как будто она устанавливает pyspark-2.3.2, но не перезаписывает существующую версию pyspark 2.4.4. И когда я проверяю по этому пути /usr/local/Cellar/apache-spark/, я вижу только подкаталог 2.4.4, я не хочу удалять этот каталог, поскольку он содержит все конфигурации на libexec/conf/spark-defaults.conf и jars на libexec/jars.

Есть ли аккуратный и надежный способ переключения apache версий искры на Ma c?

Заранее спасибо.

...