Namenode UI - Просмотр файловой системы не работает в псевдо-распределенном режиме

Question

Я установил Hadoop 0.20.2 в распределенном режиме psuedo (все демоны на одной машине). Он запущен, и я могу получить доступ к HDFS через командную строку и выполнить задания, и я могу видеть вывод.

Но я не могу просматривать файловую систему, используя пользовательский интерфейс, предоставленный Hadoop.

http://namenode:50070/dfshealth.jsp.. показывает версию и статус кластера. Когда я нажимаю на файловую систему, она ничего не показывает. Есть ли проблема с этим?

Я могу перечислить содержимое с помощью команд оболочки hdfs, и в режиме кластера все работает нормально.

Только в распределенном режиме я не могу просматривать файловую систему. Любые входные данные приветствуются. Я установил hadoop1.0.0 в режиме psudodistributed, и столкнулся с той же проблемой.

Answer 1

попробуйте:

vi /usr/local/hadoop/conf/core-site.xml

И измените эту строку:

<value>hdfs://<b>localhost</b>:54310</value>

на

<value>hdfs://<b>[your IP]</b>:54310</value>

Добавьте имя хоста и IP-адрес namenode в файл hostsсистемы, из которой вы просматриваете вышеуказанный URL.Если этого не сделать, то при нажатии на ссылку «Обзор файловой системы» произойдет сбой.

Answer 2

хорошо, я тоже столкнулся с той же проблемой ...

Сначала моя хранилище namenode было папкой tmp, поэтому при перезапуске компьютера все данные теряются. поэтому я изменил свой каталог хранения namenode на другое место в моем hadrdisk. и чем я столкнулся с той же проблемой, я не могу просмотреть мою файловую систему. когда я проверяю разрешение для этой папки, у этой папки нет разрешения, и я не смог изменить это разрешение. поэтому я скопировал папку hadoop из папки tmp в мою домашнюю папку и изменил каталог хранения namenode на эту папку в домашнем каталоге.

и моя проблема решена.

Answer 3

Откройте /etc/hadoop/conf/core-site.xml и измените hdfs: // localhost: 8020 на hdfs: // (your-ip): 8020

, затем перезапустите сервис hadoop-datanode

Проверьте журналы, если это также не работает.

Answer 4

Вот мой анализ.У меня та же проблема, и я использую AWS.ссылка «Обзор файловой системы» указывает на nn_browsedfscontent.jsp.

nn_browsedfscontent.jsp обычно выполняет

1. выборку IP-адреса datanode
2. выбор порта datanode (50075)
3. перенаправления запроса наIP-адрес: порт.

В случае aws экземпляр сервера имеет частный DNS (доступен только между экземплярами) и общедоступный DNS (доступен для внешнего доступа, Интернет).

На шаге 1,выбранный IP-адрес - это частный DNS, а не общедоступный DNS. На шаге 3 IP-адрес: 50075 - это частный DNS: 50075, который потерпит неудачу, поскольку он недоступен публично.

Я заменил приватный днс: 50075 на общедоступный днс: 50075 и смог просмотреть содержимое файловой системы.

Я плохо знаю javascript и поэтому не могу изменить nn_browsedfscontent.jsp для решения этой проблемы.Не уверен, что уже решен.