Как программно найти версию Spark в узле исполнителя?

Question

Я пытаюсь написать метод (который будет выполняться через исполнителя), который будет возвращать версию Spark в виде строки. Я знаю, что могу найти версию Spark со следующим кодом:

SparkSession.builder().getOrCreate().version (even on executor)

Но, когда я запускаю тесты (тесты в исходном коде Apache Spark, были написаны раньше моего), некоторые тесты завершаются с ошибкой:

Причина: java.lang.IllegalStateException: SparkSession должен создаваться и использоваться только в драйвере.

Итак, я понимаю, что не могу использовать SparkSession. Поэтому у меня вопрос, есть ли другой способ найти версию Spark у исполнителя?

Answer 1

Я решил свою проблему, импортировав SPARK_VERSION напрямую:

import org.apache.spark.SPARK_VERSION

Была также возможность перенести версию с конфигурацией, которая уже была в моем классе.