«ПРЕДУПРЕЖДЕНИЕ hdfs.DFSUtil: Namenode для null остается неразрешенным для идентификатора null».

Question

Я хочу проверить работоспособность моего hadoop после настройки, но после ввода команда start-all.sh отобразит ниже ошибку в терминале

WARN hdfs.DFSUtil: Namenode для null остается неразрешенным для идентификатора null.Проверьте файл hdfs-site.xml, чтобы убедиться, что наменоды настроены правильно.Запуск namenodes на [master] master: ssh: Не удалось разрешить hostname master: Имя или служба неизвестна

Я проверил свой файл hdfs-site.xml и решил его как другиедано так

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/lidekanfa/tools/hadoop-2.7.7/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/lidekanfa/tools/hadoop-2.7.7/hdfs/data</value>
    </property>
</configuration>

Это все еще не работает.Затем я проверил свой файл hosts и дал ip и имя, и еще я могу войти в систему slave без пароля.В чем проблема?

Большое спасибо!

Answer 1

Я получил ответ. Есть 2 балла.

Во-первых, имя моего мастера называется лидеканфа, а не мастер. Но в файле hdfs-site.xml и других файлах конфигурации, где следует использовать имя мастера (lidekanfa), я использовал вместо этого master. Поэтому он предупреждает, что Namenode для null остается неразрешенным для идентификатора null.

Во-вторых, есть еще одна скрытая проблема для меня. В руководствах по установке для начинающих они используют одно и то же имя пользователя, например root и т. Д., Среди машин, но я этого не заметил. Это привело к тому, что после того, как я исправил проблему, упомянутую выше, мне пришлось ввести пароль, но имя пользователя и идентификатор не совпадали, поэтому hadoop не работал. Чтобы решить эту проблему, я воспроизводю ключи и запускаю hadoop с правами root. Тем временем вы можете переписать файл sshd_config, чтобы разрешить вход в систему как root. Вы также можете решить эту проблему, используя одно и то же имя пользователя среди машин.