Как правильно перезапустить мойку kafka s3 connect? - PullRequest
Новая
       14

Как правильно перезапустить мойку kafka s3 connect?

0 голосов
/ 10 мая 2018

С 1 мая я начал использовать коннектор раковины kafka s3 (коннектор в комплекте).Работает нормально до 8 мая.Проверяя состояние, он сообщает, что какое-то исключение aws вылетает из этого коннектора.Это не должно быть большой проблемой, поэтому я хочу восстановить его.

Я попробовал следующие шаги:

  1. I POST / connectors / s3sink / restart.Затем я увидел, что разъем находится в режиме RUNNING, но задача все еще не выполнена.
  2. Затем я PUT / connectors / s3sink / task / 0 / restart.Хорошо, теперь задача находится в режиме RUNNING.

Но затем я записываю журнал в журнал, обнаружив, что он начинает перезаписывать старые данные, такие как данные 3 мая.И он испортил старые данные!

Итак, REST API Connect перезапуска сбрасывает смещение?Я думал, что это сохранит смещение и просто запустит смещение, в котором происходит сбой.

А как правильно перезапустить сбойную задачу соединителя?Удаляя эти POD?(с использованием kubernetes) или с помощью REST / task / 0 / restart?Когда мне следует использовать / connectors / s3sink / restart?

1 Ответ

0 голосов
/ 11 мая 2018

/connector/:name/restart - это повторяющаяся операция перезапуска рабочего лидера, которая должна распространяться на все задачи рабочего сервера асинхронно. Итак, вам необходимо обеспечить сетевое соединение между руководителем и всеми остальными.

/connector/:name/task/:num/restart отправит запрос прямо этому работнику, перезапустив поток.

Перезапуск не должен сбрасывать смещение, поскольку они хранятся в теме потребительских смещений для этого кластера подключения . Во всяком случае, задачи не смогли зафиксировать смещения обратно в тему __consumer_offsets, но вы должны увидеть журналы для этого.

...