Сохраните путь к выходному каталогу редукторов в переменную в Hadoop - PullRequest
0 голосов
/ 30 мая 2011

Как сохранить выходной путь редукторов Hadoop в переменную?

Эта переменная будет использоваться всеми другими заданиями MR.

Эти задания будут последовательными.

Все последовательные задания MR запишут соответствующий вывод в этот каталог вывода.

Мне нужно, чтобы их переменная пути была соответственно обновлена.

1 Ответ

0 голосов
/ 31 мая 2011

Посмотрите на "Oozie".Это рабочий процесс Hadoop, который позволяет только то, что вы описали.Несколько заданий могут воспринимать свои «Входные данные» как «Выходные данные» из последнего задания.

Для этого существуют другие решения, такие как «Каскадный» API.

http://www.concurrentinc.com/products/ http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start

...