Выполнение задания Java-картографа Hadoop на подчиненном узле, проблема с каталогом - PullRequest
1 голос
/ 26 сентября 2011

Как часть моего Java mapper, у меня есть команда, которая выполняет некоторый автономный код на локальном подчиненном узле.Когда я запускаю код, он работает нормально, если только он не пытается получить доступ к некоторым локальным файлам, и в этом случае я получаю сообщение об ошибке, что он не может найти эти файлы.

Копая немного глубже, кажется, это выполняется из следующихкаталог:

/ data / hadoop / mapred / local / taskTracker / {пользователь} / jobcache / job_201109261253_0023 / попытки_201109261253_0023_m_000001_0 / work

Но я собираюсь выполнить излокальный каталог, в котором находятся соответствующие файлы:

/ home / users / {user} / input / jobname

Есть ли способ в java / hadoop принудительно заставитьвыполнение из локального каталога, а не из каталога JobCache, автоматически создаваемого в Hadoop?

Возможно, есть лучший способ сделать это?

Любая помощь по этому вопросу будет принята с благодарностью!

1 Ответ

0 голосов
/ 29 сентября 2011

Обходной метод, который я сейчас использую и который работает, состоит в копировании всех соответствующих файлов в рабочий каталог jobcache.Затем вы можете скопировать результаты обратно в каталог пользователя, если необходимо.

К сожалению, это не полностью отвечает на вопрос, но, надеюсь, предоставляет полезный обходной путь для других.

Приветствия,

Джорис

...