Может ли подчиненный узел запускать Hadoop Map / Reduce Job?

Question

Я установил Hadoop на два узла (главный и подчиненный).Я хотел бы спросить, могу ли я запустить работу Map / Reduce с подчиненного компьютера или использовать HDFS с подчиненного компьютера.Нет проблем с запуском задания карты / редукции из главного узла, но когда я попытался запустить задание карты / редуцирования из подчиненного узла, возникла следующая ошибка.

Java.net.connectionException при подключении не удалосьисключение.

Answer 1

Вы можете запускать задания с любого компьютера в кластере, если для каждого узла настроено правильное свойство местоположения Jobtracker.Фактически вы можете запускать задания с любого компьютера, включая ваш персональный компьютер или ноутбук, при условии, что у вас есть соединение с сервером (то есть, нет никаких брандмауэров на вашем пути), и Hadoop настроен с надлежащим отслеживателем заданий и namenode.

Убедитесь, что mapred.job.tracker настроено на ведомом устройстве хоста и порта.Что-то вроде master.com:8021.И убедитесь, что вы можете установить соединение между ведомым и ведущим, например, запустив telnet master.com 8021.Я предполагаю, что вы можете установить соединение, потому что мастер (JobTracker) может планировать задачи на TaskTracker.