Кафка внутренняя память

Question

Согласно книге Кафки

Производитель публикует сообщения в теме. Эти сообщения будут написаны в сегменте и после этого партия сообщений будет сохранена на диск.

Потребитель подписывается на тему и читает сообщение из сегмента.

Я читал, что физически сегмент - это не что иное, как файлы. Я запутался, какова роль диска, если мы храним сообщение в сегментах (файловая система).

Может кто-нибудь объяснить мне связь между сегментами и диском?

Answer 1

Сообщения публикуются в теме / разделе. Когда брокер получает сообщения, он записывает их в кэш страницы ОС (т.е. неиспользуемые части основной памяти). ОС будет периодически сбрасывать (fsync) грязные страницы на диске.

Кафка физически организует данные в файловой системе в каталоги, названные с помощью KAFKA_LOGS_DIR / - которые хранятся в каталогах журналов, настроенных для каждого посредника (по умолчанию: tmp / kafka-logs /)

Каждый из этих каталогов содержит несколько сегментов вызовов файлов с лог-структурой, в которые сообщения записываются последовательно. Кроме того, каждый сегмент журнала прикрепляется к двум индексным файлам /.