Кафка ручьи - заливает кафку бревна - PullRequest
Новая
       8

Кафка ручьи - заливает кафку бревна

0 голосов
/ 17 апреля 2019

Я использую Kafka Streams, и я заметил, что это приводит к тому, что моя kafka записывает в журнал много сообщений, таких как: 

[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.Log) [2019-04-17 09:06:16,545] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition-2, dir=/opt/kafka/data/logs] Incrementing log start offset to 3394 (kafka.log.Log) 
[2019-04-17 09:06:16,546] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition-1, dir=/opt/kafka/data/logs] Incrementing log start offset to 3102 (kafka.log.Log) 
[2019-04-17 09:06:16,549] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 4168 (kafka.log.Log) 
[2019-04-17 09:06:16,551] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 329670 (kafka.log.Log)

Это действительно мешает, потому что я заливаю логи, поэтому ябольше ничего не вижу (также потребляет ресурсы).

Почему это происходит для (некоторых из) внутренних тем Kafka Streams, а не для других тем?

Как я могу отключить это?

1 Ответ

1 голос
/ 18 апреля 2019

Kafka Streams активно очищает разделы перераспределения после обработки данных, чтобы освободить место для хранения в кластере Kafka (см. https://issues.apache.org/jira/browse/KAFKA-6150). Отключить это невозможно.

В качестве обходного пути вы можете перенастроить параметры конфигурации раздела перераспределения segment.bytes и segment.ms и установить для них более высокие значения. Обратите внимание, что это сделает очистку данных менее эффективной, что приведет к увеличению использования диска в кластере Kafka.

...