Количество потоков отправителей в клиенте API Kafka C

Question

Я использую librdkafka-0.11.5 для C на Linux.Мои приложения на C / C ++ просто отправляют данные Kafka на веб-сервер, который управляет потребителем Kafka с помощью ElasticSearch.Похоже, что на стороне производителя Kafka добавляет 8 (восемь) внутренних потоков на процесс Unix.Это вызывает у нас проблему, потому что у нас жесткое ограничение на количество потоков в Linux.

Кто-нибудь знает, почему добавлено 8 потоков?Может ли это быть из-за того, что мой Linux-блок имеет 4 ЦП, а пул потоков предварительно создан с двумя потоками на ЦП (просто предположения)?Я использую одну тему и шесть разделов.В строке посредника есть три посредника.

Есть ли способ уменьшить количество добавленных тем?

С уважением, Ник

Answer 1

Текущий дизайн librdkafka создает один внутренний поток для каждого брокера в кластере.

См. FAQ для получения дополнительной информации.

Мы собираемся изменить это наПотоки ввода-вывода или потоки брокера по требованию, но это не произойдет до 2019 года.