Мы ищем решение для мониторинга нашего потока данных - отслеживание хода входящих сообщений во время их обработки.
Я уточню - мы хотим создать какой-то сервис, который будет показывать статус для каждого входящего сообщения.,И в случае невозможности дать какую-либо подробную информацию.
Я подумал о следующем:
Сначала каждому входящему сообщению будет присвоен некоторый идентификатор.
Мы можем создать«Репортер» (регистратор с некоторыми дополнительными возможностями), с которым каждый оператор может общаться, обновлять статус и более релевантную информацию.Сбои могут быть отправлены какой-то кафке для повторной обработки.
Эти детали могут быть зачеркнуты в кибане (ES), например.Затем нам нужно создать еще один сервис, который будет запрашивать кибану и отображать результаты.
Что вы думаете об этом?Есть ли встроенное решение для этого?(встроенные метрики flink здесь не актуальны, потому что они не помогают отследить одно сообщение)
Как вы регистрируете и отслеживаете обработанные сообщения?Как вы обрабатываете исключения?Есть ли какая-либо документация или некоторые варианты использования, из которых я могу извлечь уроки?
Спасибо, Рои.