Как отправить метрики с помощью Scrapy в Prometheus? - PullRequest
Новая
       89

Как отправить метрики с помощью Scrapy в Prometheus?

0 голосов
/ 11 января 2019

Я новичок в Прометее.

Мне нужно также отправить номера очищенных предметов на Прометей и показать их на графике в Графана .

Я установил Прометей , Scrapy-Prometheus и Графана .

В настройках Scrapy я добавляю 

STATS_CLASS = 'scrapy_prometheus.PrometheusStatsCollector'
# Prometheus pushgateway host
PROMETHEUS_PUSHGATEWAY = 'http://0.0.0.0:9090'   
# Metric name prefix
PROMETHEUS_METRIC_PREFIX = 'scrapy_prometheus'   
# Timeout for pushing metrics to pushgateway
PROMETHEUS_PUSH_TIMEOUT = 5  
# Method to use when pushing metrics
PROMETHEUS_PUSH_METHOD = 'POST'  # default
PROMETHEUS_SUPPRESS_TYPE_CHECK = False
# job label value, applied to all metrics.
PROMETHEUS_JOB = 'scrapy' 
PROMETHEUS_GROUPING_KEY = {'instance': 'localhost'}

Я настраиваю настройку Grafana следующим образом

enter image description here

В Документация у нас

stat foo: 67, метрическая

scrapy_prometheus_foo {instance = "...", job = "scrapy", spider = "..."} 67

У меня вопрос: как я могу отправить количество очищенных элементов в качестве метрик в Prometheus?

1 Ответ

0 голосов
/ 12 января 2019

Из чтения документов кажется, что scrapy-prometheus просто отправляет всю статистику в: 

<prefix><stats name with / replaced by _>

Префикс по умолчанию - scrapy_prometheus, а статистика, которую вы ищете для очищенных предметов, - item_scraped_count, поэтому вам следует искать scrapy_prometheus_item_scraped_count stat, и она должна отправляться по умолчанию.

...