Перегородки Кафки расходуются равномерно?

Question

У меня есть группа потребителей с несколькими потребителями.Каждому потребителю назначается набор разделов.Когда потребитель опрашивает сообщения, где выбран использованный раздел?Это сделано на стороне потребителя, или сервер Kafka решает, какие разделы должны быть использованы?

В некоторых из моих разделов много сообщений, но в некоторых нет или очень мало.Но мне все еще нужно, чтобы мои потребители в равной степени использовали каждый из назначенных ему разделов.Поэтому мне нужно, чтобы мой потребитель быстро перебирал разделы, предпочтительно опрашивал x сообщений от каждого назначенного раздела.

Я использую https://github.com/appsignal/rdkafka-ruby на случай, если это имеет значение.

Answer 1

Кафка назначает разделы для использования в качестве стратегии Round-Robin, предоставляя каждому разделу равные шансы на потребление.Таким образом, голода для перегородок избежать.

С другой стороны, Кафка Это не гарантирует, что данные будут использоваться пропорционально между разделами,

Подробные сведения об этом см. Здесь .