Нашему новому кластеру kafka не хватило места быстрее, чем ожидалось, поэтому я принял некоторые меры для смягчения:
1) Я включил мгновенное сжатие для рассматриваемых тем: это было сделано на брокересторона с командой "kafka-themes --config compress.type = snappy", чтобы не прерывать производителей
2) Я удвоил количество узлов kafka в кластере
3)Я перебалансировал кластер.
Эти шаги сработали, и мы выиграли некоторое время.Я знаю, что [1] относится только к вновь создаваемым данным, но мне было интересно, будут ли сжаты разделы, которые были перебалансированы для новых узлов, когда они достигнут своего нового брокера, или они сохранят свою первоначальную форму (не было никакогосжатие производителя, чтобы они все были несжатыми).На старых узлах были некоторые другие вещи, которые затрудняют вывод из простого анализа использования диска.