Ограничение по количеству тем в Кафке

Question

У меня есть конкретный вариант использования, где мне может понадобиться очень большое количество тем в kafka.По сути, это для временных рядов и, следовательно, хотелось бы получить общее понимание, как я должен подходить к этому.

Я знаю, что теоретически нет предела, но практически будут некоторые ограничения.Хотел бы получить экспертное мнение здесь.

Можно ли масштабировать, например, до миллиона тем или даже больше?

Answer 1

Ну, нет фиксированных номеров, определенных для тем / разделов в кластере.Но определенно есть некоторые лучшие практики, которые показывают, как эффективно масштабировать кластер.

На самом деле, количество самих тем действительно не определяет масштабируемость кластера.Количество разделов влияет больше, чем количество тем.Каждая тема может иметь один или несколько разделов.Чем больше у вас разделов, тем больше файловых дескрипторов будет открыто, и это повлияет на задержку.Также больше разделов увеличивает недоступность.

Поэтому при планировании размера кластера и емкости следуйте приведенному ниже правилу для стабильного кластера.

Как правило, если вы заботитесь оЗадержка, вероятно, будет хорошей идеей ограничить количество разделов на одного брокера до 100 xbxr, где b - это количество брокеров в кластере Kafka, а r - коэффициент репликации.

Вот хороший блогсообщение от слияния: https://www.confluent.io/blog/how-choose-number-topics-partitions-kafka-cluster

Лично у меня возникла проблема с 5600 темами / 23000 разделами на 6 кластерах узлов брокера.И брокеры стали недоступны из-за огромных дескрипторов открытых файлов, и нам пришлось масштабировать кластер до 12 узлов.