Кафка высота выборки чистилища размера

Question

Я следил за нашими брокерами Kafka и увидел, что размер нашего чистилища принес 6K - 10K. как влияет размер чистилища на потребителей?

Answer 1

Размер чистилища выборки означает, сколько запросов на выборку хранится у брокера в ожидании удовлетворения.

Например, на стороне потребителя есть fetch.min.bytes и fetch.max.wait.ms. Запрос на выборку будет возвращен, если выполнено любое из условий. До этого он будет находиться в чистилищном бассейне, считающемся размером чистилища.

Следовательно, высокий размер чистилища просто означает, что в состоянии ожидания есть запрос на выборку. Оно может иметь различные причины и не означает ничего хорошего или плохого.

(Ну, если хотите, вы можете проверить, есть ли у какого-нибудь потребителя необычно большие параметры извлечения, что приводит к большому чистилищному размеру)

Хороший материал для чтения:

1. https://www.confluent.io/blog/apache-kafka-purgatory-hierarchical-timing-wheels/
2. https://kafka.apache.org/documentation/#monitoring