cAdvisor Prometheus container_cpu_load_average_10s имеет два значения

Question

У меня есть кластер kubernetes, работающий в цифровом океане, который я хочу отслеживать. При запросе открытых метрик cAdvisor на <apiserver>/api/v1/nodes/<nodename>/proxy/metrics/cadvisor я получаю следующие результаты для container_cpu_load_average_10s

# HELP container_cpu_load_average_10s Value of container cpu load average over the last 10 seconds.
# TYPE container_cpu_load_average_10s gauge
container_cpu_load_average_10s{container="",id="/",image="",name="",namespace="",pod=""} 0 1579564900287
container_cpu_load_average_10s{container="",id="/docker/0da952be93af76ef4f89c82d39ffc994814386013b0313db0e376ba8c1ca52ec",image="gcr.io/google-containers/hyperkube:v1.16.2",name="kubelet",namespace="",pod=""} 0 1579564899268
container_cpu_load_average_10s{container="",id="/kubepods",image="",name="",namespace="",pod=""} 0 1579564900316
container_cpu_load_average_10s{container="",id="/kubepods/besteffort",image="",name="",namespace="",pod=""} 0 1579564903221
container_cpu_load_average_10s{container="",id="/kubepods/besteffort/pod05e648ab-0d69-46e7-97f5-53fa5547e631",image="",name="",namespace="default",pod="sh2-74cdb7f89b-7wmn2"} 0 1579564889468
container_cpu_load_average_10s{container="",id="/kubepods/besteffort/pod1d3d6f5c-8b8f-47df-87e1-e6796b6c8cac",image="",name="",namespace="kube-system",pod="kubelet-rubber-stamp-7f966c6779-9pj2x"} 0 1579564897907
container_cpu_load_average_10s{container="",id="/kubepods/besteffort/pod35f81ba8-c778-4771-8103-ca6a1f1df3b3",image="",name="",namespace="kube-system",pod="cilium-operator-d5cd7d758-jlc7g"} 0 1579564902427
container_cpu_load_average_10s{container="",id="/kubepods/besteffort/pod7c42ac9d-14e2-4773-9f6b-78745e065d98",image="",name="",namespace="default",pod="sh-68d446d656-pr6lw"} 0 1579564893074
container_cpu_load_average_10s{container="",id="/kubepods/besteffort/pod87c517f4-be8d-4eeb-b550-7edd7b6629c7",image="",name="",namespace="ingress",pod="haproxy-ingress-c5fc9f5d-zbmc7"} 0 1579564903152
container_cpu_load_average_10s{container="",id="/kubepods/besteffort/poda137a036-0931-4d38-a39e-24269eda4558",image="",name="",namespace="kube-system",pod="metrics-server-7cdf9b7694-9ngsb"} 0 1579564906312

Значение метрики на самом деле - два значения, первое всегда 0, а затем что-то в области 1579564906312.

Я новичок в Prometheus, и я думал, что метри c может иметь только одно значение, но, очевидно, cadvisor предоставляет два значения. Это ошибка или что-то, чего я еще не знаю о прометее? Если это не ошибка, то как мне ее лечить, потому что браузер Prometheus показывает только первое значение, которое равно 0.

Answer 1

Каждый метри c имеет размеры для этого. Так что, похоже на тот же показатель c, но это только название. Эти метрики отличаются друг от друга по их меткам.

Если вы внимательно посмотрите на скриншот, то обнаружите, что это загрузка ЦП различных пакетов различных служб.

РЕДАКТИРОВАТЬ: Формат, который Прометей выставляет свои метри c является

metric_name [
  "{" label_name "=" `"` label_value `"` { "," label_name "=" `"` label_value `"` } [ "," ] "}"
] value [ timestamp ]

Это указывает на то, что последнее число является отметкой времени.

Подробнее в https://github.com/prometheus/docs/blob/master/content/docs/instrumenting/exposition_formats.md