Кафка повторить на ту же тему

Question

Мы бы хотели создать механизм повтора кафки для сбоев.Я видел, что многие представили способ иметь несколько повторных тем.Мне было интересно, почему я не могу упростить поток путем клонирования сообщения, добавить в него поле счетчика повторов и просто воспроизвести его по той же теме, пока не достигнет X раз, а затем исчерпать.

Что мне с этим не хватаетмеханизм

Answer 1

Не уверен, правильно ли я понял вопрос.Тем не менее, я бы посоветовал вам использовать некоторые стратегии Кафки для повторов.

• Сообщения в темах «Повторить» уже отсортированы в порядке «retry_timestamp»
• Поскольку откладывание обработки сообщения в случае сбоя не является тривиальным процессом
• Если выхотели бы отложить обработку некоторых сообщений, вы можете переиздать их в отдельные темы, по одной для каждой с некоторым значением задержки
• Обработка неудачных сообщений может быть достигнута путем клонирования сообщения и последующей его повторной публикации в одной из повторных попыток.Темы
• Потребители повторяющихся тем могут заблокировать поток (если не пришло время обрабатывать сообщение)