Как распечатать Spark-соединение сессии Spark?

Question

Предположим, я выполнил команду pyspark и получил глобальную переменную spark типа SparkSession. Как я понимаю, это spark содержит соединение с мастером Spark. Могу ли я распечатать информацию об этом соединении, включая имя хоста этого Spark master?

Answer 1

Для получения основной информации вы можете использовать master свойство:

spark.sparkContext.master

Чтобы получить подробную информацию о YARN, вам, возможно, придется поискать hadoopConfiguration:

hadoopConfiguration = spark.sparkContext._jsc.hadoopConfiguration()
hadoopConfiguration.get("yarn.resourcemanager.hostname")

или

hadoopConfiguration.get("yarn.resourcemanager.address")

При отправке в YARN Spark использует конфигурацию Hadoop для определения менеджера ресурсов, поэтому эти значения должны соответствовать значениям, присутствующим в конфигурации, размещенной в HADOOP_CONF_DIR или YARN_CONF_DIR.