Единственный способ, которым я могу получить это сейчас, это посмотреть на интерфейс мастера игры. Я хотел бы получить работающий драйвер программно. Есть ли способ сделать это?
См. https://spark.apache.org/docs/latest/monitoring.html
Выборочное цитирование:
Метрики Spark имеет настраиваемую систему метрик на основе библиотеки метрик Dropwizard. Это позволяет пользователям сообщать о метриках Spark различным приемникам, включая файлы HTTP, JMX и CSV. Система метрик настраивается с помощью файла конфигурации, который Spark ожидает присутствовать в $ SPARK_HOME / conf / metrics.properties. Пользовательское местоположение файла может быть указано через свойство конфигурации spark.metrics.conf. По умолчанию корневое пространство имен, используемое для метрик драйвера или исполнителя, представляет собой значение spark.app.id. ... driver: Процесс драйвера Spark (процесс вкоторый ваш SparkContext создан). ...
Метрики Spark имеет настраиваемую систему метрик на основе библиотеки метрик Dropwizard. Это позволяет пользователям сообщать о метриках Spark различным приемникам, включая файлы HTTP, JMX и CSV. Система метрик настраивается с помощью файла конфигурации, который Spark ожидает присутствовать в $ SPARK_HOME / conf / metrics.properties. Пользовательское местоположение файла может быть указано через свойство конфигурации spark.metrics.conf. По умолчанию корневое пространство имен, используемое для метрик драйвера или исполнителя, представляет собой значение spark.app.id.
...
Вы можете прочитать эти файлы. тонет, что не программно.