У меня запущена работа с искрой в GKE, и я также вижу Spark UI для мониторинга, однако, возможно, мой код не оптимален, время от времени журнал искры просто зависает на
ContextCleaner:54 - Cleaned accmulator
или
Codegenerator
в то время как в интерфейсе Spark ничего не выполняется, если присмотреться, время на завершенную работу обычно не превышает 3 минут, это время, когда ожидание запуска следующей работы занимает гораздо больше времени, яМне просто интересно, что делает искра, когда нет работы, готовится ли она?почему это занимает так много времени, и почему нет другого способа показать это на SparkUI.