ускорить обработку потребителя кафки, но обеспечить порядок событий - PullRequest
0 голосов
/ 05 декабря 2018

Я знаю, что если у нас будет несколько разделов и почти одинаковое количество потребителей в группе потребителей, то обработка ускорится.Если мы хотим поддерживать порядок событий и обрабатывать каждое событие как и когда оно получено, как мы можем достичь этого с несколькими разделами и потребителями.

В моем сценарии использования обработка событий по порядку чрезвычайно важна, иначе система развалится.Я хотел использовать несколько разделов для увеличения параллелизма, но как-то «привести их в порядок».

1 Ответ

0 голосов
/ 05 декабря 2018

Самый простой ответ: вы не можете

После разделения данных на разделы вы не можете гарантировать порядок потребления (даже с одним потребителем).Есть ли какая-либо логика, в которой вы можете разделить данные на разделы, чтобы сообщения, которые должны быть использованы по порядку, оказались в одном разделе?

...