Прометей - общее количество метрик и результаты prometheus_tsdb_head_series отличаются

Question

count({__name__=~".+"}) запрос показывает только 9, но prometheus_tsdb_head_series показывает 837, есть идеи, почему такая разница?оба запроса не похожи?

вот конфиг скрапа:

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus-1'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.

    static_configs:
    - targets: ['localhost:9090']
      labels:
        env: local
    metric_relabel_configs:
    - source_labels: [__name__]
      regex: (prometheus_tsdb_head_series)
      action: keep


  - job_name: 'node_exporter-1'
    static_configs:
    - targets: ['localhost:9100']
      labels:
        env: local
    metric_relabel_configs:
    - source_labels: [__name__]
      regex: (?i)(metric1|metric2|metric3)
      action: keep

Answer 1

prometheus_tsdb_head_series охватывает все серии, которые существовали в последние 1-3 часа, count({__name__=~".+"}) охватывает серии, которые не устарели в течение последних 5 минут.

Учитывая этот конфиг, я бы предположил, что эти другие серии были до того, как вы добавили metric_relabel_configs.

Answer 2

Я обнаружил проблему, на локальном хосте был запущен другой процесс prometheus: 9090, второй процесс prometheus с вышеуказанным конфигом обрезал этот другой инстанс prometheus, из-за чего между этими двумя запросами была разница, после исправления порта в конфиге scrape Я вижу, как оба запроса возвращают один и тот же результат.