Можно ли увидеть прогресс приложения в% для Spark, используя его REST API - PullRequest
Новая
       16

Можно ли увидеть прогресс приложения в% для Spark, используя его REST API

1 голос
/ 07 ноября 2019

Я запускаю приложение Spark в автономном кластере Spark. Если я проверяю состояние приложений с помощью Spark REST API, я получаю что-то вроде следующего: 

curl localhost:4040/api/v1/applications

[ {
  "id" : "app-20191107150648-0000",
  "name" : "MyAppName",
  "attempts" : [ {
    "startTime" : "2019-11-07T14:06:47.372GMT",
    "endTime" : "1969-12-31T23:59:59.999GMT",
    "lastUpdated" : "2019-11-07T14:06:47.372GMT",
    "duration" : 0,
    "sparkUser" : "Username",
    "completed" : false,
    "appSparkVersion" : "2.4.4",
    "startTimeEpoch" : 1573135607372,
    "lastUpdatedEpoch" : 1573135607372,
    "endTimeEpoch" : -1
  } ]
}

Мой вопрос: есть ли API, который также показывает, насколько приложение прогрессировало в%. Например, если его половина сделана, она должна показать 50%. Я знаю, что невозможно получить точную цифру, но даже оценка будет хорошей.

1 Ответ

1 голос
/ 08 ноября 2019

Вы можете получить список всех этапов для данного приложения из ... / application / [app_id] / stage, а затем посмотреть, сколько было завершено с помощью ... / apps / [app_id] / stage? Status= завершено (см. https://spark.apache.org/docs/latest/monitoring.html#rest-api). После смелого предположения о том, что все этапы созданы равными, вы можете разделить размер списка № 2 на # 1 и получить процент.

...