kafka connect - потребитель, имеющий очень низкую скорость доступа - PullRequest
0 голосов
/ 28 апреля 2018

Подходит ли kafka connect для случаев, когда скорость передачи сообщений очень низкая. Пример: для потребителя, если существует очень низкая скорость ввода сообщений или периоды, когда нет сообщений, отправляемых / получаемых, может ли kafka connect обрабатывать эти сценарии? Любые предложения полезны.

1 Ответ

0 голосов
/ 28 апреля 2018

Да. В настоящее время у меня работает соединитель, который выдает, возможно, до 10 сообщений в день, хотя мы настроили его для отправки в почасовые разделы, мы получаем только 1 папку, когда приходят сообщения.

Важными параметрами являются вращение раздела (если вы используете TimeBasedPartitioner) и расписание поворота мс - это заставляет соединитель периодически очищаться.

Вы также можете установить очень низкий размер сброса, чтобы сообщения передавались чаще. Если у вас более высокий размер сброса, сообщения будут буферизироваться до тех пор, пока не произойдет коммит. Даже если экземпляр подключения умирает, он должен возобновить работу с предыдущего смещения, пока данные сохраняются в теме

...