синхронизируется hadoop namenode dirs после сбоя? - PullRequest
3 голосов
/ 18 декабря 2011

Что происходит в этом сценарии: Namenode записывает в два каталога на двух разных дисках, один локальный, а другой (удаленный) монтируется.Теперь namenode завершается ошибкой, и мы запускаем процесс namenode на удаленной машине (у него есть копия исходных данных namenode, так что это безопасно) и меняем ip namenode на всех датододах.Через некоторое время нам удается воплотить в жизнь оригинальный наменод с точной предыдущей конфигурацией.Остановим процесс наменоде на удаленной машине.Теперь, будет ли локальный файл fs.name.dir синхронизирован со смонтированным (я имею в виду разность, которая была собрана на смонтированном каталоге, когда исходный namenode не работал) или будет проблема с согласованностью данных namenode?

1 Ответ

0 голосов
/ 18 декабря 2011

Теперь, будет ли локальный файл fs.name.dir синхронизирован со смонтированным (я имею в виду разность, которая была собрана на смонтированном каталоге, в то время как исходный наменод не работал), или будет проблема с наменодсогласованность данных?

Локальные данные NN будут устаревшими в течение времени, когда они были недоступны.Все изменения, внесенные в пространство имен NN на удаленном компьютере, не будут присутствовать на локальном NN.

Обратите внимание, что NN сохраняет только пространство имен для файловой системы, а также пространство имен для сопоставления идентификатора блока.Где хранятся блоки, не сохраняется в NN.Когда DN запускается, он отправляет отчет о блокировке в NN.

Проверьте this и this в HDFS NN HA.

изменить IP-адрес наменода на все датододы.Через некоторое время нам удается воплотить в жизнь оригинальный наменод с точной предыдущей конфигурацией.Мы остановим процесс namenode на удаленном компьютере.

Для вышеупомянутых сценариев будет время простоя.

...