Настройка имени хоста ведомого с использованием внутреннего IP-адреса - несколько сетевых карт - PullRequest
0 голосов
/ 29 ноября 2011

В моей среде Hadoop мне необходимо настроить подчиненные узлы таким образом, чтобы при обмене данными в середине задания карты / сокращения они использовали внутренний IP-адрес вместо внешнего IP-адреса, который он получает с имени хоста.

Есть ли способ настроить мои файлы конфигурации Hadoop, чтобы указать, что узлы должны обмениваться данными, используя внутренние IP-адреса вместо внешних IP-адресов? Я уже использовал внутренние IP-адреса в моих файлах core-site.xml, master и slave.

Я провел некоторое исследование и видел, что люди упоминают параметр "slave.host.name", но в какой файл конфигурации я поместил бы этот параметр? Есть ли другие варианты решения этой проблемы?

Спасибо!

Ответы [ 2 ]

0 голосов
/ 22 февраля 2012

Вы можете настроить slave.host.name в mapred-site.xml для каждого подчиненного узла.Также не забудьте использовать это имя хоста (вместо IP) последовательно для всех других конфигураций (core-site.xml, hdfs-site.xml, mapred-site.xml, master, slaves), а также файла / etc / hosts.

0 голосов
/ 29 ноября 2011

Необходимо изменить IP routing tables, чтобы сеть между узлами Hadoop использовала определенный шлюз. Не думайте, что в Hadoop есть какие-либо настройки для изменения используемого шлюза.

...