num.stream.threads, создающий свободные потоки - PullRequest
Новая
       19

num.stream.threads, создающий свободные потоки

1 голос
/ 27 февраля 2020

У меня есть потоковое приложение kafka для начальной загрузки с двумя темами, рассмотрим темы A и B. Топи c A имеет 16 разделов, а Topi c B имеет 1 раздел. Рассмотрим приложение, развернутое в 1 экземпляре, имеющее num.stream.threads = 16. Я запустил команду kafka-consumer-groups.bat, чтобы проверить, как потоки назначены разделу в группе, получил следующий результат. . 

kafka-consumer-groups.bat --bootstrap-server 0.0.0.0:9092 --group <topic-AGroupName>  -describe
TOPIC     PARTITION      CLIENT-ID
topic-A    0          topic-AGroupStreamThread-429-consumer
topic-A    10         topic-AGroupStreamThread-422-consumer
topic-A    6          topic-AGroupStreamThread-425-consumer
topic-A    14         topic-AGroupStreamThread-431-consumer
topic-A    7          topic-AGroupStreamThread-420-consumer
topic-A    8          topic-AGroupStreamThread-428-consumer
topic-A    11         topic-AGroupStreamThread-430-consumer
topic-A    4          topic-AGroupStreamThread-417-consumer
topic-A    2          topic-AGroupStreamThread-427-consumer
topic-A    1          topic-AGroupStreamThread-418-consumer
topic-A    15         topic-AGroupStreamThread-421-consumer
topic-A    3          topic-AGroupStreamThread-424-consumer
topic-A    9          topic-AGroupStreamThread-419-consumer
topic-A    12         topic-AGroupStreamThread-426-consumer
topic-A    13         topic-AGroupStreamThread-432-consumer
topic-A    5          topic-AGroupStreamThread-423-consumer

kafka-consumer-groups.bat --bootstrap-server 0.0.0.0:9092 --group <topic-BGroupName>  -describe
TOPIC                               PARTITION                    CLIENT-ID
topic-BGroup-result-repartition     0            topic-BGroupStreamThread-683-consumer
topic-B                             0            topic-BGroupStreamThread-678-consumer
-                                   -            topic-BGroupStreamThread-685-consumer
-                                   -            topic-BGroupStreamThread-675-consumer
-                                   -            topic-BGroupStreamThread-673-consumer
-                                   -            topic-BGroupStreamThread-680-consumer
-                                   -            topic-BGroupStreamThread-688-consumer
-                                   -            topic-BGroupStreamThread-674-consumer
-                                   -            topic-BGroupStreamThread-679-consumer
-                                   -            topic-BGroupStreamThread-677-consumer
-                                   -            topic-BGroupStreamThread-687-consumer
-                                   -            topic-BGroupStreamThread-686-consumer
-                                   -            topic-BGroupStreamThread-676-consumer
-                                   -            topic-BGroupStreamThread-684-consumer
-                                   -            topic-BGroupStreamThread-682-consumer
-                                   -            topic-BGroupStreamThread-681-consumer

Как избежать незанятых потоков в topi c -B или есть какие-либо опции для установки num.stream.threads для topi c?

1 Ответ

1 голос
/ 27 февраля 2020

Вы можете установить свойство параллелизма для фактической привязки ввода. Например, spring.cloud.stream.kafka.streams.bindings.<input-binding-name>.consumer.concurrency. Это отображается на num.stream.threads за кулисами для каждой привязки ввода. Посмотрите, работает ли это, и, пожалуйста, дайте нам знать, если у вас возникнут какие-либо проблемы.

...