Графит: Углеродный агрегатор сбрасывает данные? - PullRequest
Новая
       9

Графит: Углеродный агрегатор сбрасывает данные?

0 голосов
/ 21 января 2019

Я работаю над решением для оповещения, которое использует Logstash для потоковой передачи журналов AWS CloudFront из корзины S3 в Graphite после выполнения небольшой обработки.Поскольку может происходить несколько событий с одной и той же временной меткой (несколько событий в течение одной секунды), я решил использовать Carbon Aggregator для подсчета этих событий в секунду.

Проблема, с которой я сталкиваюсь, заключается в том, что агрегированный шепотбаза данных, кажется, сбрасывает данные .Обычный шепотный файл видит все это, но, конечно, он не может учитывать более 1 события в секунду.

Я запускаю эту настройку в Docker на экземпляре EC2, который не затрагивает какие-либопредел (CPU, Mem, Network, Disk).

Я проверил каждый журнал, который мог найти в экземплярах докера, и проверил журналы докера, однако ничего не выскакивает.

Я установилвывод logstash для отображения линий на stdout (не пропуская ни одной) и отправки их в графит на port 2023, который установлен как line-by-line receiver для агрегатора углерода: 

[aggregator]
LINE_RECEIVER_INTERFACE = 0.0.0.0
LINE_RECEIVER_PORT = 2023

*Для 1017 * установлен очень простой счет в секунду: 

test.<user>.total1s (1) = count test.<user>.total

storage-schemas.conf: 

[default]
pattern = .*
retentions = 1s:24h

Рад поделиться с вами моей конфигурацией, когда вы ее запросите.

Я наткнулся на эту кирпичную стену, я пробовал так много разных вещей, но я не могу увидеть все данные в агрегированном шепотном дБ.

Любая помощь очень ценится.

1 Ответ

0 голосов
/ 22 января 2019

Углеродный агрегатор не предназначен для того, что вы пытаетесь сделать.Для этого варианта использования вы бы хотели использовать statsd для подсчета событий в секунду.

https://github.com/etsy/statsd/blob/master/docs/metric_types.md#counting

Агрегатор углерода предназначен для агрегирования по разным сериям для каждой точки, которую он видитна входе он квантует его до метки времени до того, как произойдет агрегация, поэтому вы все еще будете получать только одно значение в секунду с агрегатором.statsd будет принимать любое количество приращений счетчика и суммировать их за каждый интервал.

...