Можно ли запускать задания Spark (2.3) на кластерах hadoop3, в частности на HDP 3.1 и CDH6 (бета)

Question

Кроме того, CDH 6 находится на стадии бета-версии и поддерживают ли они версию 2.3 без каких-либо наворотов?можно ли запускать те же старые версии spark 2.x (особенно 2.3) на CDH или кластерах Hadoop с поддержкой hadoop 3?

Мне интересно знать об изменениях обратной совместимости с API yarn, hdfs и mapreduce.

Кто-нибудь использует это в производстве?

Answer 1

CDH 6.0 GA было объявлено пару недель назад.В дополнение к Hadoop 3 он также упаковывает Spark 2.2 в качестве версии Spark по умолчанию: https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html#spark_new_features. Однако можно отдельно обновить CDS до более высокой версии (2.3.x).
CDH 6, по-видимому, не подвержен влиянию несовместимости HMS в Spark согласно https://www.cloudera.com/documentation/spark2/latest/topics/spark2_troubleshooting.html#spark_troubleshooting__hive_compatibility.