Реализация третьей фазы, называемой объединением после фазы сокращения

Question

Мне нужно добавить третью фазу - слияние - которая объединяет выходные данные отдельных, параллельных задач Reduce. Это позволяет выполнять такие вещи, как объединения и создание декартовых продуктов. Может ли кто-нибудь помочь мне, как это сделать? Я проверил нет API Hadoop 0.21 для поддержки его функций.

Answer 1

Hadoop является платформой MapReduce (не MapReduceMerge!), И это вряд ли изменится. Тем не менее, вы можете подать Jira или попросить на http://getsatisfaction.com/cloudera/, чтобы получить официальный стенд по этому вопросу.

Если вам нужны объединения, попробуйте Pig (единственный, с которым у меня есть практический опыт, но есть и другие - Hive, ...). Свинья делает соединения довольно простыми.