В пользовательском интерфейсе spark мой экран рабочих мест и этапов отображается пустым, что могло быть не так?

Question

Я использую spark 2.4.3 v. У меня есть потоковое задание spark sql для получения данных из моей kafka topi c.

моей работы spark, работающей в aws emr кластере. моя работа имеет следующую конфигурацию

--driver-memory 4g \
--driver-cores 2 \
--num-executors 20 \
--executor-cores 2 \
--executor-memory 768m \

Несмотря на то, что моя работа была запущена и работала нормально, при проверке интерфейса spark-UI, страниц Jobs & Stages с пустым экраном. Что здесь не так и как это исправить?

Иногда это показывает, когда я уменьшаю --executor-memory 512m \

Что здесь не так и как это исправить?