Как получить текущую информацию о работе в программе, когда я использую spark sql

Question

Я использую Spark SQL для запуска многих sqls. Моя цель - запрограммировать, чтобы получить информацию об их статусе, независимо от того, запущены они или завершены, или нет, и какой из sqls является текущей обработкой Spark.

Я попробовал Spark listener, но он работает не очень хорошо, я не могу получить текущий запущенный sql с помощью onJobStart или onJobEnd, есть ли другой способ?
Ниже приведен код, который похож на мое использование Spark SQL.

sqls = List(sql1, sql2, sql3,..,sqln)

В моей программе Spark:

sqls foreach {
  sql =>
     sparkSession.sql(sql)
}