настройка api hadoop на клиентской машине - PullRequest
2 голосов
/ 18 октября 2011

ультра-нуб . У меня есть сервер с псевдораспределением cdh3u1 и клиентский компьютер с Java-приложением, использующим API cdh3u1.

Как настроить клиент для общения с сервером? Я часами гуглял и не мог найти, где находится файл "конфигурации клиента". Мне кажется, что «hdfs-default», «core-default» и «mapred-default» и их «-site» аналоги выглядят как конфигурации сервера (namenode и datanode).

Это просто конфигурация "многоцелевой клиент-сервер", и мне следует выбрать атрибуты в этих файлах, подходящие для клиента? какие они? возможно, здесь что-то не хватает ...

Спасибо, Идо

1 Ответ

5 голосов
/ 23 октября 2011

убедитесь, что клиентский компьютер может получить доступ к ip-адресу компьютера сервера hadoop. Если вы используете virtualbox для сервера hadoop (cdh3 vm), то добавьте сетевой интерфейс «только для хоста» (подробности см. Здесь: сеть только для хоста с virtualbox . Я предполагаю, что ваш статический IP для сервера hadoop - 192.168.56.101, и вы можете пропинговать его со своего клиента.

настроить имя хоста для вашего сервера сервера hadoop на сервере и на клиентском компьютере. Если вы хотите назвать свой сервер hadoop "local-elephant", добавьте следующую строку в / etc / hosts на обеих машинах: 192.168.56.101 local-elephant.

на серверном компьютере перейдите в / etc / hadoop / conf и измените значения следующих свойств с «localhost» на «local-elephant»: в core-site.xml значение fs.default.name и в mapred-site. XML значение mapred.job.tracker.

на клиентском компьютере создайте core-site.xml и mapred-site.xml в classpath вашего java-приложения. В этих файлах указываются только свойства fs.default.name и mapred.job.tracker.

...