Kafka Partitioning для одного производителя, темы и брокера

Question

Я довольно новичок в Kafka, и у меня есть вопрос, касающийся отношений / сопоставления между производителем, темой, брокером и разделом в случае, когда у меня есть один производитель, одна тема и один брокер, имеет ли это смысл создать несколько разделов для темы здесь на одного брокера здесь? Если да, то как это помогает с точки зрения параллелизма / производительности?

Спасибо.

Answer 1

Первое, что нужно понять, это то, что тематический раздел является единицей параллелизма в Kafka Cluster. И в Producer, и в Broker-е записи выполняются параллельно, так что вы можете выполнять дорогостоящие операции (сжатие и т. Д.), И на стороне потребителя данные каждого раздела передаются в один поток потребителя.

В вашем сценарии вам будет полезно, если у вас есть несколько разделов по теме, и эти несколько разделов используются несколькими потребителями в одной группе потребителей. Таким образом, вы можете достичь максимальной производительности вашего приложения. Если вы используете только один потребительский поток для нескольких разделов, он будет бесполезен. В основном, больше разделов может привести к повышению пропускной способности, если вы будете грамотно управлять ресурсами кластера.

Answer 2

В дополнение к предыдущим ответам важно помнить, что потребление из нескольких разделов не сохраняет порядок сообщений / событий. Возможно, вам придется учитывать этот факт, если ваша заявка зависит от правильного порядка сообщений.

Answer 3

Даже если у вас есть один Производитель, одна Тема и один Брокер, имеет смысл создать несколько разделов для Темы с точки зрения параллелизма / производительности в контексте потребителей. Если у вас есть несколько потребителей в одной группе потребителей и несколько разделов в теме, то гарантированно, что потребители будут получать данные из разных разделов, что обеспечит вам параллелизм и повышение производительности при обработке из kafka.