__consumer_offsets topi c становится огромным - PullRequest
1 голос
/ 20 июня 2020

Можно ли как-нибудь отследить очистку в файле consumer_offsets topi c? Я пытаюсь найти, где находится дроссельная заслонка.

Проблема в том, что consumer_offsets topi c сейчас превышает 400 ГБ. Это случается довольно часто, и нам пришлось настроить log.cleaner.threads между 2–4, чтобы ускорить уплотнение. Мы делаем это раз в неделю, чтобы уменьшить размер поля consumer_offsets topi c. Мы используем версию Kafka 1.1.

Я пытаюсь найти, где находится дроссельная заслонка, если проблема с его пропускной способностью или поток очистки журналов чем-то заблокирован. Есть какие-нибудь инструменты для устранения этой проблемы?

Может кто-нибудь пролить свет на это? Спасибо!

...