Как проверить версию Spark и Hadoop в клее AWS?

Question

Я использую AWS с (Базовый план поддержки). Я хочу знать, какая версия Spark and Hadoop (HDFS) используется в клеевых работах AWS. Чтобы я мог настроить ту же среду на своем локальном компьютере для разработки.

Или, если я узнаю версию Spark, то соответствующую версию Hadoop, используемую в клеевых заданиях AWS, или наоборот.

Поскольку я использую план базовой поддержки. Так что я не могу поднять дело в центр поддержки. Любая идея, где я могу проверить работу клеев AWS ... Версия Spark и Hadoop?

Любая помощь и предложение приветствуются. Спасибо!

Answer 1

AWS Glue поддерживает Apache Spark 2.2.1, как описано здесь

AWS нигде не документировал версию hadoop для AWS Glue.Однако, поскольку AWS Glue фактически поддерживается AWS EMR, и версия hadoop будет 2.8.x.

Согласно следующей документации или hadoop / spark для AWS EMR, я предполагаю, что она составляет 2.8.3.

История выпадения AWR EMR hadoop

История отпусков AWS EMR

, где метка выпуска 5.12.2 имеет искру 2.2.1 и hadoop 2.8.3

Answer 2

Если вы используете Spark> 2.0, то

1.In Pyspark:

Получить версию Spark:

print("Spark Version:" + spark.version)

В Искра <2.0: </strong>

sc.version

Get Hadoop versio n:

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

2.In Scala:

Версия Spark:

println ("Spark Version:" + spark.version)

in spark <2.0:</strong>

sc.version

Версия Hadoop:

println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())