Резервная распределенная файловая система NFS и коэффициент репликации> 1. Безопасно ли развертывание Kafka?

Question

У меня есть кластер Kafka, в котором для log.dir задан смонтированный путь NFS, указывающий на распределенную файловую систему, к которой имеют доступ все брокеры.

Поскольку распределенная файловая система обеспечивает всю необходимую избыточность, действительно ли необходимо иметь коэффициент репликации> 1?

Кроме того, я прочитал в этой статье https://engineering.skybettingandgaming.com/2018/07/10/kafka-nfs/, что вам не рекомендуется иметь журналы в смонтированной файловой системе NFS. Это все еще имеет место, и есть ли у кого-нибудь еще опыт в этом?

Answer 1

Со стороны хранилища, возможно, это безопасно, но ваша отдельная реплика может быть прочитана / отправлена ​​только от одного брокера.

Если этот компьютер выйдет из строя, данные все равно будут доступны на вашем бэкэнде, конечно, но вы не сможете обслуживать запросы на него, не зная, что есть другая реплика для этой темы (коэффициент репликации <2). </p>