У меня есть кластер с одним мастером Spark и тремя рабочими Spark, которые используются для запроса на Кассандре.Также у меня есть приложение пользовательского интерфейса с java, которое пользователи могут вставлять поля запросов в виджеты пользовательского интерфейса.
Поскольку некоторые пользователи используют мою систему, поэтому у меня есть несколько запросов с Spark на Cassandra одновременно.
Я знаю, что SparkListener может показать начало задания или что-то в этом роде, но я не вижу никакой функции для получения текущих текущих заданий в Spark в SparkListener.Просто есть некоторые функции, которые могут обрабатывать некоторые запросы, такие как запущенная работа или задача или ...
Теперь, как я могу получить количество запросов, которые выполняются на моем Spark, по запросам пользователей, например, каждые 5 секунд?(в Java или Scala)?
Я видел следующие вопросы, но моя проблема не решается:
Получить текущее количество запущенных контейнеров в Spark на YARN
Spark - сколько исполнителей и ядер выделено для моей работы по зажиганию