Hadoop conf "fs.default.name" не может быть установлен напрямую в формате ip: port?

Question

все

Я настроил кластер hadoop в полностью распределенном режиме.Во-первых, я установил core-site.xml "fs.default.name" и mapred-site.xml "mapred.job.tracker" в формате hostname: port и соответственно изменил / etc / hosts, кластер работает успешно.

Затем я использую другой способ, я устанавливаю set core-site.xml "fs.default.name" и mapred-site.xml "mapred.job.tracker" в формате ip: port.Это не работает.

Я нахожу ОШИБКА org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Ошибка при получении имени локального хоста.Использование 'localhost' ... в файле журнала namenode и

ОШИБКА org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Ошибка получения имени localhos t.Использование «localhost» ... java.net.UnknownHostException: slave01: slave01: Имя или служба неизвестна

в файле журнала датоде.

По моему мнению, ipи имя хоста эквивалентно.Что-то не так в моем конфиге hadoop?

Answer 1

Я понял вашу точку зрения. Это из-за того, что вы, вероятно, написали в mapred-site.xml, hdfs: // ip: port (он начинается с hdfs, это неправильно), но когда вы пишете hostname: port, вы, вероятно, не писали hdfs в начале значение, которое является правильным способом. Поэтому первый не работал, а второй работал

Fatih Haltas

Answer 2

Я нашел ответ здесь .

Похоже, что HDFS использует имя хоста только для целей связи и отображения, поэтому мы НЕ можем использовать ip напрямую в core-site.xml и mapred-site.xml

Answer 3

возможно, неверно настроено имя хоста в / etc,

Вы должны проверить имя хоста / etc / hosts / etc / HOSTNAME (rhel / debian) или rc.conf (archlinux) и т. Д.