Что происходит, когда hdfs-site.xml отличается в namenode и datanode?

Question

Ожидаем ли мы какой-то сбой или определенные настройки имеют приоритет?

В моем конкретном случае я забыл установить минимальный коэффициент репликации на то же значение.

Answer 1

AFAIK, вы должны поддерживать один и тот же файл hdfs-site.xml на каждом узле.

В вашем случае:

Предположим, что Namenode содержит репликацию 3, а Datanode имеет значение, установленное на1.

Что теперь произойдет, так это то, что Наменод попытается скопировать Данные на 3 Датододы, и Датодод будет иметь репликацию 1. Поэтому, если у вас не более 2 Датодод, тогда ваш Наменод будетпродолжайте пытаться создать 3 реплики данных, но в итоге получится только 1 реплика.И вы получите ошибку Недостаточно реплицированных блоков.

Именно поэтому каждое свойство должно быть одинаковым в каждом узле.