Как получить ровно одно значение конфигурации kafka?

Question

Я хотел бы получить replication-factor или какой-либо другой конфиг, например compression.type для данной топи c.

Я знаю, что kafka-topics --describe вернет мне все настройки, но как получить ровно одно значение конфигурации?

примерно так:

kafka-topics --zookeeper zk:2181 --describe --topic testtopic1 --getReplicationFactor

В сценарии использования можно проверить из сценария, имеет ли параметр заданное значение.

Есть ли встроенное решение для этого или я должен вручную разобрать, чтобы описать вывод?

Answer 1

К сожалению, вам нужно будет его проанализировать.
Я предлагаю вам использовать инструмент ./kafka-configs.sh вместо ./kafka-topics one.

Для проверки переопределений конфигурации для данной топи c вы можете запустить:

./kafka-configs.sh --zookeeper <zk_host>:2181 --entity-type topics --entity-name <topic_name> --describe

и проанализировать его.

Обратите внимание, что это может быть сложно, потому что ваш topi c может иметь конфигурацию сервера по умолчанию (которую вы можете найти в вашем конфигурационном файле - server.properties) и даже Kafka по умолчанию использует конфигурации , которые вы не увидите при использовании этих инструментов.

Другой способ сделать это, который может быть проще - зависит от вашего вариант использования, это использовать KafkaAdminClient от одного из доступных клиентов.
Вот пример с использованием Python.