Kafka Topi c Creation with - bootstrap -server дает исключение тайм-аута (версия kafka 2.5)

Question

При попытке создать topi c с использованием - bootstrap -server , я получаю исключение " Ошибка при выполнении команды Kafka topi c: время ожидания узла истекло.": -

kafka-topics --bootstrap-server localhost:9092 --topic boottopic --replication-factor 3 --partitions

Однако следующее работает нормально, используя - zookeeper : -

kafka-topics --zookeeper localhost:2181--topic boottopic --replication-factor 3 --partitions

Я использую Kafka версии 2.5 и согласно После версии> 2.2 все смещения и метаданные хранятся в самом брокере. Таким образом, при создании topi c нет необходимости подключаться к zookeeper.

Пожалуйста, помогите разобраться в этом поведении

Примечание. Я создал кворум Zookeeper и Кластер брокера Kafka, каждый из которых содержит 3 экземпляра на одном компьютере (для целей разработки)

Answer 1

«Ошибка при выполнении команды Kafka topi c: истекло время ожидания узла»

Похоже, ваш брокер не работает или недоступен с того места, где вы выполняете эти команды или он еще не запущен (возможно, все еще запускается ).

---

Иногда запуск брокера занимает много времени, потому что он выполняет некоторые операции очистки. Вы можете проверить журналы запуска брокера Kafka и убедиться, что он готов , а затем попробовать создать темы, указав серверы bootstrap.

Также могут быть некоторые ошибки во время запуск вашего брокера Kafka, например Слишком много открытых файлов или неправильный URL-адрес zookeeper, zookeeper недоступен для вашего брокера, чтобы назвать несколько.

---

Если вы можете создавать темы с помощью передача вашего URL-адреса Zookeeper означает, что zookeeper запущен, но не обязательно означает, что ваш брокер (-ы) Kafka также работает.

Поскольку zookeeper может запускаться без брокера, но не наоборот.

Answer 2

Старый вопрос, но все равно отвечу ради rnet мудрости. Вероятно, у вас установлен auth, при использовании --bootstrap-server вам также необходимо указать свои учетные данные с помощью --command-config

Answer 3

начиная с версии> 2.2, все ... метаданные хранятся в самом брокере

False. Метаданные Topi c по-прежнему хранятся в Zookeeper до завершения KIP-500.

Метод AdminClient.createTopics(), однако он используется внутри компании, будет делегировать Zookeeper с узла брокера контроллера в кластере.

Трудно сказать, что это за ошибка, но наиболее частая проблема заключается в том, что Kafka не запущен, у вас включен SSL и сертификаты неверны, или listeners неправильно настроен.

Например, в слушателях порт брокера по умолчанию для установки Cloudera Kafka будет 6667, а не 9092

, каждый из которых содержит 3 экземпляра на одной машине

Запуск 3 экземпляров на одной машине не повышает отказоустойчивость или производительность, если у вас нет 3 ЦП и 3 отдельных жестких диска на одной материнской плате.