Каков рекомендуемый размер оперативной памяти для брокеров кафки, когда мы настраиваем клаустер?

Question

В настоящее время мы работаем над настройкой кластера Kafka. Можете ли вы сообщить мне рекомендуемый размер ОЗУ брокера Kafka при настройке кластера?

Answer 1

Кафка эффективно использует память, напрямую записывая в кеш страниц.Вы должны учитывать не менее 32GO ОЗУ на узел (минимум 3 узла), чтобы начать с производственного кластера.

Не забудьте также развернуть ансамбль zookeeper на разных машинах, которые используются для Kafka.Zookeeper может работать с меньшим количеством оперативной памяти, так что 8Go на узел достаточно, но вы должны рассмотреть выделенный SSD-диск для журнала транзакций zookeeper, остальное может быть жестким диском на Kafka или zookeeper.