Я остановил каждого брокера и переместил контрольную точку смещения чище в место резервного копирования и запустил его без этого файла, брокеры аккуратно запустили, удалили много лишних сегментов, и они не регистрируют:
WARN Сброс первого грязного смещения __consumer_offsets для регистрации начального смещения, поскольку смещение контрольной точки недопустимо
больше, очевидно, эта проблема / дефект https://issues.apache.org/jira/browse/KAFKA-6266еще не решена, даже в 2.0.2. Однако это не сжимало потребительское смещение в соответствии с ожиданиями, а именно: offsets.retention.minutes по умолчанию - 10080 (7 дней), и я попытался явно установить его на 5040, но это не помогло, но все же естьсообщения более одного месяца, так как log.cleaner.enable по умолчанию имеет значение true, они должны быть сжаты, но это не так, единственная возможная попытка состоит в том, чтобы снова установить cleanup.policy для удаления для темы __consumer_offsets, но этодействие, которое вызвало проблему, поэтому я немного неохотно это делаю.Проблема, которую я описал здесь Никакая группа потребителей Kafka, перечисленная kafka-consumer-groups.sh , также не решается этим, очевидно, что-то мешает kafka-consumer-groups.sh прочитать тему __consumer_offsets (когда он запускается с параметром --bootstrap-server, в противном случае он читает его из zookeeper) и отображает результаты, это то, что Kafka Tool делает без проблем, и я считаю, что эти две проблемы связаны.И причина, по которой я считаю, что тема не уплотнена, заключается в том, что в ней есть сообщения с точно таким же ключом (и даже временной меткой), более старые, чем должны, согласно настройкам брокера.Kafka Tool также игнорирует определенные записи и не интерпретирует их как группы потребителей на этом экране.Почему kafka-consumer-groups.sh игнорирует все, что, вероятно, связано с некоторым повреждением этих записей.