Карта с разделенными данными / Уменьшить - PullRequest
2 голосов
/ 03 июля 2010

Я написал свой пользовательский разделитель для разделения наборов данных.Я хочу разделить два набора данных, используя один и тот же разделитель, а затем в следующем задании mapreduce я хочу, чтобы каждый картограф обрабатывал один и тот же раздел из двух источников и выполнял некоторые функции, такие как объединение и т. Д.разделение, которое соответствует одному и тому же разделу из обоих источников?

Любая помощь будет высоко оценена.

1 Ответ

0 голосов
/ 13 апреля 2011

То, что вы описываете, является одним из вариантов соединения на стороне карты. Глава 8 Pro Hadoop или org.apache.hadoop.mapred.join

...