Получите улей и получите oop версию из сессии pyspark

Question

Я использую pyspark для кластера oop с ульем. Я знаю, что можно получить версию командной строки spark, hive & oop из командной строки (spark-submit --version, hive --version, hadoop version), но как мне сделать то же самое из pyspark?

получить версию с искрой достаточно просто:

print("Spark version = ".format(spark._sc.version))

Я не могу понять, как получить улей, и у меня была версия oop. Кто-нибудь знает? ТИА

Answer 1

Получение их из pyspark:

# spark
print(f"Spark version = {spark.version}")

# hadoop
print(f"Hadoop version = {sc._jvm.org.apache.hadoop.util.VersionInfo.getVersion()}")

Answer 2

хорошо, я решил это следующим образом:

from sh import hive, hadoop
print("Hive version = {0}".format(hive("--version")))
print("Hadoop version = {0}".format(hadoop("version")))

Было бы неплохо, если бы был способ получить его от объекта spark без необходимости раскладывать. Если кто-нибудь знает способ, пожалуйста, дайте мне знать.