Hadoop: код отправляется от ведущего к подчиненному - PullRequest
2 голосов
/ 13 мая 2010

Я запустил кластер hadoop и отправил задание мастеру. Файл jar содержится только в мастере. Отправляет ли hasoop банку всем ведомым машинам в начале работы? Есть ли вероятность того, что ведомый компьютер будет работать с предыдущей версией кода, поставленной во время последнего запуска?

Спасибо
Bala

1 Ответ

2 голосов
/ 13 мая 2010

Из учебника mapreduce:

Рамка скопирует необходимые файлы на подчиненный узел перед любым задачи для работы выполняются на этом узел. Его эффективность проистекает из факт, что файлы только скопированы один раз за работу и возможность кеширования архивы, которые не архивируются на рабы.

Подробнее здесь:

http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

...