Как проверить состояние приложений Spark, используя CLI или терминал?

Question

Мы знаем, что можем проверить состояние заданий зажигания и другую информацию, используя Spark Web UI. Но есть ли способ получить такую ​​же информацию с помощью командной строки или терминала. Например, если мы можем получить отправленное время , статус и продолжительность задания.

Я пишу сценарий для мониторинга и анализапо какой-то причине, поэтому я хочу получить эту информацию с помощью команд.

Мне нужен более или менее похожий вывод, который мы получаем с помощью oozie job -info .

Я пытался найти его, но не смог найти правильного способа его достижения.

Answer 1

Вы можете получить это через API REST spark и curl , вы можете найти все доступные конечные точки здесь . Пример вывода ниже.

$ curl http://localhost:4040/api/v1/applications
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   467  100   467    0     0  15064      0 --:--:-- --:--:-- --:--:-- 29187[ {
  "id" : "local-1571419035658",
  "name" : "Spark shell",
  "attempts" : [ {
    "startTime" : "2019-10-18T17:17:14.124GMT",
    "endTime" : "1969-12-31T23:59:59.999GMT",
    "lastUpdated" : "2019-10-18T17:17:14.124GMT",
    "duration" : 0,
    "sparkUser" : "user123",
    "completed" : false,
    "appSparkVersion" : "2.4.0",
    "startTimeEpoch" : 1571419034124,
    "lastUpdatedEpoch" : 1571419034124,
    "endTimeEpoch" : -1
  } ]
} ]

и сведения о работе

$ curl http://localhost:4040/api/v1/applications/local-1571419035658/jobs/16
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   542  100   542    0     0  36133      0 --:--:-- --:--:-- --:--:-- 36133{
  "jobId" : 16,
  "name" : "show at <console>:24",
  "submissionTime" : "2019-10-19T21:20:10.676GMT",
  "completionTime" : "2019-10-19T21:20:13.604GMT",
  "stageIds" : [ 30, 31, 32 ],
  "status" : "SUCCEEDED",
  "numTasks" : 202,
  "numActiveTasks" : 0,
  "numCompletedTasks" : 202,
  "numSkippedTasks" : 0,
  "numFailedTasks" : 0,
  "numKilledTasks" : 0,
  "numCompletedIndices" : 202,
  "numActiveStages" : 0,
  "numCompletedStages" : 3,
  "numSkippedStages" : 0,
  "numFailedStages" : 0,
  "killedTasksSummary" : { }
}

Answer 2

Вы можете получить статус Spark Application через CLI, используя следующие команды:

YARN CLUSTER MANAGER

yarn application --status <application_id>

MESOS / STANDALONE

spark-submit --status <application_id>