Span Kafka тематический раздел по каталогам

Question

У меня есть тема Кафки с одним разделом. Я пытаюсь отправить сообщения брокеру. Источник размером 1,5 ТБ. У моего брокера есть два каталога для хранения разделов Kafka

/dev/sdc1       1.1T  567G  460G  56% /data_disk_0
/dev/sdd1       1.1T  1.1T     0 100% /data_disk_1

Каждый размером 1,1 ТБ. Поскольку в моей теме только один раздел, Kafka хранит все сообщения в /dev/sdd1. В конце концов, диск полностью заполняется, потому что размер источника больше размера целевого диска. Могу ли я разделить свой тематический раздел, чтобы хранить половину данных в disk0, а другую половину в disk1 без изменения количества разделов?

Пожалуйста, совет

Я не смог найти конфигурациюсвязанные изменения, которые я могу добавить в Kafka

Answer 1

Это невозможно на уровне конфигурации kafka. Вам придется использовать RAID или группы логических томов для объединения дисков в один том

В документации Kafka упоминается

Вы можете объединить эти диски вместе водин том или формат и монтируйте каждый диск в качестве своего собственного каталога

Если ваши данные слишком сильно перекошены на один диск, то есть определенные разделы, вам следует проверить, как ваши производители разбивают данные на разделы, начните ссохранить где-то такую ​​большую тему или включить периоды сжатия / хранения для этих тем