Поведение высокой доступности HDFS

Question

Как распределенная копия (distcp) работает между двумя кластерами при сбое NameNode (NN) в конфигурации высокой доступности (HA).

Будет ли выполнено это задание из-за разного IP-адреса узла имени и резервного узла?

Answer 1

Yashwanth, В кластере HA Hadoop не рекомендуется использовать активный узел имени в командах distcp. Простым ответом на ваш вопрос является «Да», если вы жестко закодировали Namenode IP или DNS в команде distcp. В кластере HAADoop вам необходимо использовать имя кластера в IP в команде distcp.

Answer 2

В зависимости от конфигурации вашего HDFS HA ​​ и если реализовано автоматическое аварийное переключение , оно может работать (лично я не проверял конкретную команду во время восстановления после сбоя).

Другая важная часть заключается в том, что вы используете имена для служб , а DNS правильно настроен и настроен для всех задействованных узлов (вы никогда не должны использовать прямые IP-адреса).