У меня есть кластер AWS с 12 узлами по 8 ядер в каждом и основным узлом.Как я вижу в браузере, запущено 4 задания spark, в HUE-> jobs, 3 записных книжки Zeppelin и одна - скрипт python (pyspark), который я запускаю из командной строки.Скрипты жалуются на это сообщение: «WARN YarnScheduler: начальное задание не приняло никаких ресурсов; проверьте интерфейс кластера, чтобы убедиться, что работники зарегистрированы и имеют достаточные ресурсы» за последний час.Итак, мой вопрос: есть ли способ узнать, какое из запущенных заданий потребляет какие ресурсы (ядра, ОЗУ)?Какие инструменты я могу использовать для этой цели?Я запускаю команду linux "htop" на главном узле, которая, конечно, показывает много доступных ядер и много неиспользуемой оперативной памяти, но мне нужен инструмент, чтобы увидеть нагрузку на узлы.Я нашел ссылку на SparkUI из записной книжки Zeppelin, которая показывает только задания, связанные с Zeppelin, но не все (задания командной строки отсутствуют, записная книжка Jupyter тоже и т. Д.).HUE показывает список всех запущенных заданий, но нет способа увидеть загрузку ресурсов, создаваемую каждым заданием.Есть ли инструмент, который показывает эту информацию?