Можно ли запускать Kafka Broker без репликации в производственном процессе?

Question

Мы рассматриваем возможность использования kafka в качестве решения для обмена сообщениями с малой задержкой для финансового торгового приложения в реальном времени.

Предполагая, что мы используем высококачественное оборудование и не ожидаем, что аппаратное обеспечение / операционная система выйдет из строя, все равно будет ли это рискесли мы запустим брокер без какой-либо репликации

Поскольку репликация увеличит задержку, мы также хотим, чтобы данные доставлялись в производимом порядке без пробелов

Answer 1

Аппаратное обеспечение всегда может дать сбой.Не думайте, что это не будет

. Вы можете установить репликацию темы выше, чем 1, но вы, похоже, на самом деле хотите просто acks=1 или acks=0 для запросов производителя с низкой задержкой.Репликация происходит в backgrond, она не будет замедлять ваши запросы от разделов лидера, пока у вас не будет более высокого значения (acks=all)

Однако, если у вас есть финансовые данные, я надеюсь, что они очень чувствительны ине может иметь потери пакетов ни при каких условиях, поэтому я бы посоветовал вам пересмотреть наличие acks=all, unclean.leader.election=false и min.insync.replicas=2.