Как заставить кафку подключаться, чтобы забрать сообщения с последнего сбоя - PullRequest
0 голосов
/ 21 января 2020

Я использую Elasti c Поиск Kafka Connect в автономном режиме. Меня не смущает, какую конфигурацию использовать для запуска подключения Kafka и получения с последней точки отказа.

Например, производитель будет продолжать загружать записи в Kafka и Consumer как Elasti c Соединитель приемника поиска потребляет, теперь мой по какой-то причине мой потребитель не работает, но мой гордый продолжит посылать сообщения в Кафку. Теперь, когда я исправил свою проблему на стороне разъема приемника ES, и если я перезапустил разъем приемника ES, он должен выбрать последний сбой не с начала или с последнего, а с последнего сбоя. Если с момента сбоя поступило 10 сообщений, то при запуске разъема приемника ES он должен сначала принять 10, а затем самое последнее.

Пожалуйста, помогите с настройкой.

1 Ответ

0 голосов
/ 21 января 2020

Kafka Connect действует как любой другой потребитель Kafka. При перезапуске потребитель перемотает назад к последней зафиксированной позиции смещения. Это поведение по умолчанию, и в Connect нет настроек для его изменения.

...