Как установить новую версию spark, без удаления текущей установленной версии spark - PullRequest
Новая
       107

Как установить новую версию spark, без удаления текущей установленной версии spark

0 голосов
/ 25 сентября 2019

у нас есть HadonWorks кластер Hadoop с версией спарк - 2.3.0 (на основе HDP 2.6.5), с платформой ambari 

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.0.2.6.5.0-292
      /_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_112)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

, чтобы обновить версию спарк до 2.3.2, нам нужнообновить версию HDP до 3.1

, но обновить HDP до 3.1, чтобы получить искру 2.3.2, слишком рискованно, поскольку это производственный кластер hadoop

, поэтому мы решили установитьс нуля клиенты spark (от https://spark.apache.org/downloads.html), на всех машинах до версии spark - 2.4.4, и оставить старую версию spark - 2.3.0 как есть

означает, что текущая искра не удаленаверсия, но установить новую версию свечи - 2.4.4 (из https://spark.apache.org/downloads.html), это будет новая рабочая искра вместо свечи 2.3.0

возможно ли это?

еслида как тогда?, процедура?

Официальные версии компонентов Apache для HDP 3.1.0: 

Apache Accumulo 1.7.0
Apache Atlas 1.1.0
Apache Calcite 1.16.0
Apache DataFu 1.3.0
Apache Hadoop 3.1.1
Apache HBase 2.0.2
Apache Hive 3.1.0
Apache Kafka 2.0.0
Apache Knox 1.0.0
Apache Livy 0.5.0
Apache Oozie 4.3.1
Apache Phoenix 5.0.0
Apache Pig 0.16.0
Apache Ranger 1.2.0
Apache Spark 2.3.2   <------------------
Apache Sqoop 1.4.7
Apache Storm 1.2.1
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6
Apache Superset 0.23.3
Apache Druid 0.12.1
...