kafka + почему не отображаются детали о сохраненных байтах из kafka - описать - PullRequest
Новая
       5

kafka + почему не отображаются детали о сохраненных байтах из kafka - описать

0 голосов
/ 09 июля 2020

Мы запускаем кластер Kafka с 3 узлами, Kafka 0.11.0.

Мы установили как глобальное, так и per-topi c хранение в байтах ,

См. Соответствующие конфигурации ниже: 

server.properties

log.retention.hours=48
log.retention.bytes=6400000000
log.segment.bytes=10485760
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
confluent.support.metrics.enable=true
group.initial.rebalance.delay.ms=0
confluent.support.customer.id=anonymous
delete.topic.enable=true
auto.create.topics.enable=false
log.flush.interval.ms=10000
zookeeper.session.timeout.ms=2000
log.flush.scheduler.interval.ms=2000
log.flush.interval.messages=20000
queued.max.requests=1000
producer.purgatory.purge.interval.requests=100
num.replica.fetchers=1
min.insync.replicas=1
unclean.leader.election.enable=true
inter.broker.protocol.version=1.0
log.message.format.version=1.0

странная вещь, когда мы запускаем kafka –describe, чтобы проверить значения retention.bytes из вывода, мы получаем следующее

мы видим, что Configs: get null 

bin/kafka-topics.sh  --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
    Topic:stg_logtopic    PartitionCount:12       ReplicationFactor:3     Configs:
            Topic: stg_logtopic   Partition: 0    Leader: 4       Replicas: 4,5,6 Isr: 4,5,6
            Topic: stg_logtopic   Partition: 1    Leader: 5       Replicas: 5,6,1 Isr: 5,1,6
            ...

Хотя ожидаемый результат должен быть примерно таким 

bin/kafka-topics.sh  --zookeeper zk-01:2181/kafka --describe --topic stg_logtopic
    Topic:stg_logtopic    PartitionCount:12       ReplicationFactor:3     Configs:retention.bytes=6400000000
            Topic: stg_logtopic   Partition: 0    Leader: 4       Replicas: 4,5,6 Isr: 4,5,6
            Topic: stg_logtopic   Partition: 1    Leader: 5       Replicas: 5,6,1 Isr: 5,1,6

Почему сведения о retention.bytes=6400000000 не отображаются из kafka –describe ?

Заранее спасибо,

1 Ответ

2 голосов
/ 09 июля 2020

При описании тем с помощью этого инструмента вы видите только конфигурации, которые были переопределены. Все остальные конфигурации, в которых применяется брокер по умолчанию, не указаны.

Вы можете переопределить конфигурацию на уровне topi c, когда:

  • создавая: для пример kafka-topics.sh -create --zookeeper localhost:2181 --replication-factor 3 --partitions 100 --topic test --config retention.bytes=12345

  • изменив его: например, kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name test --alter --add-config retention.bytes=12345

В этих случаях при описании топи c вы будете см. его конфигурации: 

kafka-topics.sh --zookeeper localhost --describe
Topic:test  PartitionCount:1    ReplicationFactor:1 Configs:retention.bytes=12345
    Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0

Если вы хотите увидеть все конфигурации, включая брокера по умолчанию, вам нужно использовать инструмент kafka-configs и Kafka 2.5. Например (я обрезал часть вывода, так как она довольно длинная): 

./bin/kafka-configs.sh --bootstrap-server localhost:9092 \
    --entity-type topics --entity-name test --describe --all

All configs for topic test are:
  compression.type=producer sensitive=false synonyms={DEFAULT_CONFIG:compression.type=producer}
  leader.replication.throttled.replicas= sensitive=false synonyms={}
  message.downconversion.enable=true sensitive=false synonyms={DEFAULT_CONFIG:log.message.downconversion.enable=true}
  min.insync.replicas=1 sensitive=false synonyms={DEFAULT_CONFIG:min.insync.replicas=1}
  segment.jitter.ms=0 sensitive=false synonyms={}
  <truncated>
  ...
...