Используются ли в Spark Sql локальные рабочие группы потока?

Question

По моим выводам, запуск нескольких sparksqls с разными группами заданий не помещает их в указанные группы. https://issues.apache.org/jira/browse/SPARK-29340

Создание новой потоковой рабочей группы работает для заданий с плавающей точкой в ​​данных, но не для sparksql. Есть ли способ поместить все выполнения локальных потоков SQL в отдельную рабочую группу?

val sparkThreadLocal: SparkSession = DataCurator.spark.newSession()

sparkThreadLocal.sparkContext.setJobGroup("<id>", "<description>")

OR

sparkThreadLocal.sparkContext.setLocalProperty("spark.job.description", "<id>")
sparkThreadLocal.sparkContext.setLocalProperty("spark.jobGroup.id", "<description>")

Answer 1

Решено! Это была проблема с использованием параллельной итерации scala, которая использует пулы потоков.