Карта Hadoop / уменьшить цепочку

Question

Я хочу связать 2 Map / Сокращение рабочих мест. Я пытаюсь использовать JobControl для достижения того же. Моя проблема -

JobControl нужен org.apache.hadoop.mapred.jobcontrol.Job, который, в свою очередь, нуждается в org.apache.hadoop.mapred.JobConf, который устарел. Как обойти эту проблему, чтобы связать мою карту / уменьшить?

У кого-нибудь есть лучшие идеи для создания цепочек (кроме каскадирования).

Спасибо, M

Answer 1

Похоже на Конвейерная карта hadoop уменьшает количество заданий

Answer 2

Вы можете сослаться на мой ответ на этот вопрос, так как он выглядит очень похоже: Карта конвейеров hadoop уменьшает количество заданий

Answer 3

Cloudera имеет инструмент рабочего процесса под названием Oozie , который может помочь с такого рода цепочкой. Может быть, излишне просто заставить одну работу работать за другой.

Answer 4

Вы можете использовать Riffle , это позволяет вам объединять в цепочку произвольные процессы (все, к чему вы прикрепляете свои аннотации).

У него есть элементарный планировщик зависимостей, поэтому он будет заказывать и выполнять ваши задания за вас. И это Apache по лицензии. Также на репо Conjars , если вы пользователь maven.

Я - автор, и написал его так, чтобы Mahout и другие пользовательские приложения могли иметь общий инструмент, также совместимый с каскадными потоками.

Я также являюсь автором Cascading . Но MapReduceFlow + Cascade в Cascading работает довольно хорошо для большинства необработанных цепочек MR-задач.