Запуск нескольких экземпляров hadoop на одной машине - PullRequest
1 голос
/ 25 февраля 2010

Я хочу запустить второй экземпляр Hadoop на машине, на которой уже запущен экземпляр Hadoop. После распаковки распределения hadoop некоторые конфигурационные файлы необходимо изменить из каталога hadoop-version / conf. Пользователь Linux будет одинаковым для обоих экземпляров. Я определил следующие атрибуты, но я не уверен, что это достаточно хорошо.

hdfs-site.xml: dfs.data.dir и dfs.name.dir

core-site.xml: fs.default.name и hadoop.tmp.dir

mapred-site.xml: mapred.job.tracker

Не удалось найти имена атрибутов для номера порта системы отслеживания заданий / задач / веб-интерфейса DFS. Их значения по умолчанию 50030, 50060 и 50070 соответственно.

Есть ли еще какие-либо атрибуты, которые необходимо изменить, чтобы новый экземпляр hadoop работал в собственной среде?

1 Ответ

2 голосов
/ 25 февраля 2010

Найдите «.address» в src / hdfs / hdfs-default.xml и src / mapred / mapred-default.xml, и вы найдете там множество атрибутов, определенных здесь.

Кстати, у меня была коробка с включенным брандмауэром, и я заметил, что эффективными портами в конфигурации по умолчанию являются 50010, 50020, 50030, 50060, 50070, 50075 и 50090.

...