Уменьшение карты - Как сгруппировать и объединить несколько атрибутов в одном задании - PullRequest
Новая
       21

Уменьшение карты - Как сгруппировать и объединить несколько атрибутов в одном задании

0 голосов
/ 08 июня 2018

Я сейчас немного борюсь с MapReduce.У меня есть следующий набор данных: 

1,John,Computer
2,Anne,Computer
3,John,Mobile
4,Julia,Mobile
5,Jack,Mobile
6,Jack,TV
7,John,Computer
8,Jack,TV
9,Jack,TV
10,Anne,Mobile
11,Anne,Computer
12,Julia,Mobile

Теперь я хочу применить MapReduce с группировкой и агрегацией для этого набора данных, чтобы выходные данные не только показывали, сколько раз кто-то что-то купил, но ичто это за продукт, который заказал человек больше всего.

Таким образом, результат должен выглядеть следующим образом: 

John 3 Computer
Anne 3 Mobile
Jack 4 TV
Julia 2 Mobile

Моя текущая реализация маппера, а также редуктора выглядит так, что прекрасно возвращаетсколько заказов было сделано отдельными лицами, однако я действительно не знаю, как получить желаемый результат. 

static class CountMatchesMapper extends Mapper<Object,Text,Text,IntWritable> {
    @Override
    protected void map(Object key, Text value, Context ctx) throws IOException, InterruptedException {
        String row = value.toString();
        String[] row_part = row.split(",");


            try{
                ctx.write(new Text(row_part[1]), new IntWritable(1));

            catch (IOException e) {
            }
            catch (InterruptedException e) {
            }

        }

    }
}


static class CountMatchesReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context ctx) throws IOException, InterruptedException {
        int i = 0;
        for (IntWritable value : values) i += value.get();
        try{
            ctx.write(key, new IntWritable(i));
        }
        catch (IOException e) {
        }
        catch (InterruptedException e) {
        }
    }
}

Я был бы очень признателен за любое эффективное решение и помощь.

Заранее спасибо!

1 Ответ

0 голосов
/ 08 июня 2018

Если я правильно понимаю, что вы хотите, я думаю, что вторая строка вывода должна быть: 

Anne 3 Computer

в зависимости от ввода.Всего Анна купила 3 ​​продукта: 2 компьютера и 1 мобильный.

У меня здесь очень простой и упрощенный подход, который не учитывает крайние случаи и т. Д., Но может дать вам некоторое направление: 

    static class CountMatchesMapper extends Mapper<LongWritable, Text, Text, Text> {
    private Text outputKey = new Text();
    private Text outputValue = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context ctx) throws IOException, InterruptedException {
        String row = value.toString();
        String[] row_part = row.split(",");
        outputKey.set(row_part[1]);
        outputValue.set(row_part[2]);
        ctx.write(outputKey, outputValue);
    }
}

static class CountMatchesReducer extends Reducer<Text, Text, Text, NullWritable> {
    private Text output = new Text();

    @Override
    protected void reduce(Text key, Iterable<Text> values, Context ctx) throws IOException, InterruptedException {
        HashMap<String, Integer> productCounts = new HashMap();

        int totalProductsBought = 0;
        for (Text value : values) {
            String productBought = value.toString();
            int count = 0;
            if (productCounts.containsKey(productBought)) {
                count = productCounts.get(productBought);
            }
            productCounts.put(productBought, count + 1);
            totalProductsBought += 1;
        }

        String topProduct = getTopProductForPerson(productCounts);
        output.set(key.toString() + " " + totalProductsBought + " " + topProduct);
        ctx.write(output, NullWritable.get());
    }

    private String getTopProductForPerson(Map<String, Integer> productCounts) {
        String topProduct = "";
        int maxCount = 0;
        for (Map.Entry<String, Integer> productCount : productCounts.entrySet()) {
            if (productCount.getValue() > maxCount) {
                maxCount = productCount.getValue();
                topProduct = productCount.getKey();
            }
        }
        return topProduct;
    }
}

Выше приведен результат, который вы описали.

Если вам нужно правильное решение, которое масштабируется и т. Д., То, вероятно, вам нужен составной ключ и пользовательский GroupComparator.Таким образом, вы также сможете добавить Combiner и сделать его намного более эффективным.Однако приведенный выше подход должен работать для среднего случая.

...