Мониторинг задержки потребления Kinesis - PullRequest
0 голосов
/ 28 февраля 2019

Я пытаюсь собрать показатели для Kinesis на уровне потока, точнее хочу получить счетчик, на котором процесс рабочий / потребительский отстает на уровне потока, меня не волнуют лаги на уровне сегмента,Я нашел пример расчета задержки потребления в документах AWS, но он рассчитывает время задержки, а не задержку по количеству сообщений.Я пытаюсь использовать Java KCL для сбора этих метрик для потока, эти метрики будут периодически собираться и публиковаться на информационной панели.Спасибо.

1 Ответ

0 голосов
/ 01 марта 2019

Размер лага по количеству записей - это не показатель, который вы получаете из коробки.Вы можете рассчитать это сами, но это не так просто.

Производитель ничего не знает о потребителе, а потребитель ничего не знает о производителе.Единственная причина, по которой доступно время задержки, заключается в том, что порядковый номер каждой записи имеет закодированную временную метку, поэтому потребители могут публиковать последнюю найденную метку времени, а затем вы можете получить максимальную задержку для всего потока.

...