Apache Kafka подкачки памяти

Question

У меня кластер Kafka из 10 машин.

Конфигурация Kafka xmx теперь составляет 8 г.

Однако после проверки каждого процесса Kafka я подтвердил, что используется 1–3 г памяти подкачки.

Я знаю, Кафке не нужно использовать большую кучу.

В этой ситуации мне нужно увеличить xmx Кафки?

Или есть другое решение?

Кроме того, текущая настройка swapiness для os равна 1.

Answer 1

Операция подкачки - это очень сложно. У меня были конфигурации, в которых все работало менее чем на половине доступной памяти, и ОС все же решила выгрузить несколько ГБ памяти на диск. Я также пытался полностью отключить swapiness, и я не увидел никакого улучшения производительности.

Моя рекомендация - оставить подкачку ОС в покое. Это правда, что Kafka не нужна большая куча JVM, но она будет использовать любую доступную оперативную память в ОС в качестве кэша страниц, чтобы обслуживать как можно больше данных / сообщений из оперативной памяти. Я бы рекомендовал изменить размер JVM, используя -Xms и -Xmx, до одного и того же значения (для большинства сценариев должно хватить 8 ГБ) и оставить оставшуюся оперативную память для использования Kafka в качестве памяти вне кучи, а для Загрузка ОС.