Сколько потоков поддерживается кластером kafka - PullRequest
0 голосов
/ 11 мая 2018

Как мы можем проверить, например, сколько потоков поддерживается кластером Kafka с 3 узлами

Мой проект связан с видео, я передаю видео из источника в место назначения в виде метаданных, используя Kafka. Т.е. я делаю некоторый процесс над видео, затем формирую метаданные и затем отправляю эти данные в Kafka, используя Kafka-Producer API через тему 'test-topic'. Я потребительский класс, который берет эти данные (метаданные) и выполняет некоторый процесс. Как это я реализовал 3 Kafka processors. Я запускаю каждый процесс 6 раз для разных типов входов, поэтому у меня 18 процессоров. Но здесь мои сомнения не связаны с процессорами Kafka. Мое сомнение связано с Kafka-Cluster. Как потоки связаны с kafka-cluster и есть ли способ узнать количество потоков, поддерживаемых kafka cluster.

1 Ответ

0 голосов
/ 11 мая 2018

Это будет сильно зависеть от того, что делает ваше приложение, от пропускной способности и так далее. Некоторые общие ресурсы, чтобы помочь вам:

Общий размер развертывания кластеров Kafka приведен в Справочная архитектура предприятия

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...