Мы используем поток kafka для потребления данных.У нас есть кластер с 4 брокерами и раздел с 64 разделами.
Мы получаем около 4 миллионов сообщений в день, а каждое сообщение составляет около 2 КБ.
Что мы замечаем, так это то, что наш потребитель часто выходит за рамки,Мы выделили 20 ГБ пространства для нашего потребителя.
При чтении пород db я обнаружил, что при сжатии требуется двойной размер сжатого файла.Например, если размер файла составляет 5 ГБ, потребуется всего 10 ГБ свободного места для сжатия.
Большую часть времени занимает около 4 5 ГБ, но иногда внезапно он выходит из дискового пространства.
Есть ли какие-либо указатели или конфиг, которые мы хотели бы настроить, чтобы это настроить?
Как мне проверить, является ли моя конфигурация rock db оптимальной?
Как я могу проверить, правильно ли происходит сжатие?