Мы запускаем Spark Jobs в AWS EMR , мы сталкиваемся с этой проблемой довольно часто, когда задания находятся в состоянии ACCEPTED и не переходят в состояние RUNNING, даже если тамресурсы или нет запущенных заданий. Также довольно странно видеть, что Используемая память составляет около 400 ГБ, которые должны были быть освобождены, когда в данный момент нет запущенных заданий.
Какие шаги или изменения конфигурации необходимо выполнить для решения этой проблемы.
Примечание. Задания выполняются с динамическим распределением, поскольку кластер масштабируемый.
Тип планировщика: УдовлетворительноеПланировщик
Пожалуйста, дайте мне знать, если какая-либо дополнительная информация требуется для того же