Определите ресурсы кластера Hadoop, используемые завершенным заданием - PullRequest
Новая
       1

Определите ресурсы кластера Hadoop, используемые завершенным заданием

0 голосов
/ 20 февраля 2019

Как определить ресурсы кластера Hadoop, использованные завершенным заданием?

Наш менеджер ресурсов кластера - yarn.Доступ к определенным конечным точкам API пряжи доступен через HTTP;например: 

curl -L http://my.hadoop.instance:8088/ws/v1/cluster/apps/application_1547448533998_502644

вернет: 

{
    "app": {
        "allocatedMB": -1,
        "allocatedVCores": -1,
        "amContainerLogs": "http://someNode.hadoop.instance:8042/node/containerlogs/container_e149_1547448533998_502644_01_000001/someUser",
        "amHostHttpAddress": "someNode.hadoop.instance:8042",
        "amNodeLabelExpression": "",
        "applicationTags": "",
        "applicationType": "SPARK",
        "clusterId": 1547448533998,
        "clusterUsagePercentage": 0.0,
        "diagnostics": "",
        "elapsedTime": 583889,
        "finalStatus": "SUCCEEDED",
        "finishedTime": 1550621490747,
        "id": "application_1547448533998_502644",
        "logAggregationStatus": "TIME_OUT",
        "memorySeconds": 15821179,
        "name": "ProjectCantor",
        "numAMContainerPreempted": 0,
        "numNonAMContainerPreempted": 0,
        "preemptedResourceMB": 0,
        "preemptedResourceVCores": 0,
        "priority": 0,
        "progress": 100.0,
        "queue": "dsg",
        "queueUsagePercentage": 0.0,
        "runningContainers": -1,
        "startedTime": 1550620906858,
        "state": "FINISHED",
        "trackingUI": "History",
        "trackingUrl": "http://my.hadoop.instance:8088/proxy/application_1547448533998_502644/",
        "unmanagedApplication": false,
        "user": "someUser",
        "vcoreSeconds": 14713
    }
}

Однако есть несколько атрибутов, таких как allocatedMB и allocatedVCores, для которых установлено значение -1, а не какое-либо значимое значение.

Заранее спасибо.

...