Существует ли ограничение на количество потоковых потоков (num.stream.threads), которые будут использоваться для потоков kafka, когда мы используем вложенные агрегаты - PullRequest
0 голосов
/ 23 октября 2019

Мое приложение потока kafka не запускается, когда количество потоков в потоке превышает 110. Существует ли ограничение на конфигурацию потоков потоков для потоков kafka.

Существует вариант использования, в котором мы хотели использовать вложенныеагрегации с использованием потоков DSL Кафки (в настройках от 50 до 100 вложенных агрегаций каждая агрегация приводит к разделению на разделы). Согласно некоторым идеальным для чтения потокам конфигурации потоков должны быть равны количеству разделов. Так, скажем, когда у меня будет 20 агрегатов с исходной темой, имеющей 10 разделов, будет в общей сложности 210 разделов, включая разделенные разделенные тематические разделы, поэтому я установил потоковые потоки на 210, при этом мое приложение не запускается. (Даже пытался горизонтально масштабировать мое приложение, чтобы сказать10 экземпляров с 21 потоковыми потоками, каждый с этим также сталкивается с той же проблемой) Kafka verion - версия 1.1.1 Kafka streams - 2.2

...