Кафка: лог раздела VS, кластер

Question

Я прочитал отсюда и немного не уверен насчет журнала разделов.

Сначала они говорят:

Для каждой темы кластер Kafka поддерживает секционированный журнал, который выглядит так:

Затем они показывают картинку:

Также они говорят,

Разделы в журнале служат нескольким целям. Во-первых, они позволяют журнал масштабируется за пределы размера, который поместится на одном сервере. каждый отдельный раздел должен уместиться на серверах, на которых он размещен, но тема может иметь много разделов, чтобы обрабатывать произвольное количество данных. Во-вторых, они действуют как единица параллелизма, подробнее об этом чуть позже.

Правильно ли я понимаю, что:

1. В кластере может быть только один раздел журнала? Другими словами, два раздела одной и той же темы не могут быть в одном кластере?
2. Кластер может иметь несколько разделов журнала из разных тем?
3. Картинка по теме должна быть больше похожа на эту?

Answer 1

Чтобы ответить на ваш вопрос:

1. Для кластера Kafka из b брокеров и темы с p разделами каждый брокер будет примерноудерживайте p / b разделов в качестве основной копии.Они также могут содержать разделы реплики, но это зависит от вашего фактора репликации.Так, например, если у вас есть кластер из 3 узлов и тема test с 6 разделами, каждый узел будет иметь 2 раздела.

2. Да, он, безусловно, может,В продолжение предыдущего пункта, если у вас есть две темы test1 и test2 , каждая из которых имеет 6 разделов, то каждый брокер будет содержать всего 4 раздела (по 2 для каждой темы).

3. Я предполагаю, что на диаграмме вы назвали брокеров как кластер.

Answer 2

Тема состоит из 1 или нескольких разделов.Вы задаете количество разделов при создании темы, и разделы также можно добавлять после создания.

Kafka распределяет разделы по максимально возможному количеству посредников в кластере.Если у вас есть только один брокер, то все они будут в этом брокере.

Многие разделы одной и той же темы могут жить на одном брокере.Это происходит постоянно, так как большинство кластеров имеют только дюжину брокеров, и нередко иметь 50 разделов, поэтому несколько разделов из одной и той же темы будут жить на одном брокере.это единица, которая не может быть разделена.Либо у брокера, либо нет.Принимая во внимание, что тема - это просто набор разделов с одинаковым именем и конфигурацией.