У меня есть идея сделать то же самое с cli следующим образом:
yarn application --status <app-id>
Я хочу узнать состояние задания Spark, запущенного в кластере EMR RESTful. Есть ли какая-либо утилита или Как мне добиться того же?
Есть:
REST API для запущенного приложения Spark
или Метрики доступны для сбора и наблюдения
Вы можете просмотреть пользовательский интерфейс менеджера ресурсов пряжи или сервер истории искр.
Resource manager -> <master ip>:8088/cluster Spark history server -> <master ip>:18080/history/application_1530774461344_0005/jobs/ Running spark application -> <master ip>:20888/proxy/application_1530774461344_0006/jobs