Найти распределение продаж по категориям товаров во всех наших магазинах - PullRequest
Новая
       5

Найти распределение продаж по категориям товаров во всех наших магазинах

0 голосов
/ 18 октября 2018

У меня есть файл продаж с информацией, такой как название магазина, местоположение, цена продажи, название продукта и т. Д. Формат файла указан ниже, 

2012-01-01  09:00   San Jose    Men's Clothing  214.05  Amex
2012-01-01  09:00   Fort Worth  Women's Clothing    153.57  Visa
2012-01-01  09:00   San Diego   Music   66.08   Cash
2012-01-01  09:00   Pittsburgh  Pet Supplies    493.51  Discover
2012-01-01  09:00   Omaha   Children's Clothing 235.63  MasterCard
2012-01-01  09:00   Stockton    Men's Clothing  247.18  MasterCard

Я хотел бы написать карту.сократить количество рабочих мест, чтобы найти распределение продаж по категориям товаров во всех наших магазинах.Мой код (включая маппер и редуктор) приведен ниже, 

public final class P1Q1 {


    public static final class P1Q1Map extends Mapper<LongWritable, Text, Text, DoubleWritable> {

        private final Text word = new Text();

        public final void map(final LongWritable key, final Text value, final Context context)
                throws IOException, InterruptedException {

            final String line = value.toString();
            final String[] data = line.trim().split("\t");

            if (data.length == 6) {

                final String product = data[3];
                final double sales = Double.parseDouble(data[4]);

                word.set(product);
                context.write(word, new DoubleWritable(sales));
            }
        }
    }


    public static final class P1Q1Reduce extends Reducer<Text, DoubleWritable, Text, DoubleWritable> {

        public final void reduce(final Text key, final Iterable<DoubleWritable> values, final Context context)
                throws IOException, InterruptedException {

            double sum = 0.0;

            for (final DoubleWritable val : values) {
                sum += val.get();
            }

            context.write(key, new DoubleWritable(sum));
        }
    }


    public final static void main(final String[] args) throws Exception {


        final Configuration conf = new Configuration();

        final Job job = new Job(conf, "P1Q1");
        job.setJarByClass(P1Q1.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(DoubleWritable.class);

        job.setMapperClass(P1Q1Map.class);
        job.setCombinerClass(P1Q1Reduce.class);
        job.setReducerClass(P1Q1Reduce.class);

        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.waitForCompletion(true);
    }
}

Ответ, который дает код, является неправильным и не соответствует результатам Udacity.

Кто-нибудь знает, правильная ли это мысль и как это сделать?

Примечание

  1. Я получаю совершенно неверный результат в выходном файле 

    Baby    5.749180844000035E7
Books   5.745075790999787E7
CDs 5.741075304000156E7
Cameras 5.7299046639999785E7
Children's Clothing 5.762482094000117E7
Computers   5.7315406319999576E7
Consumer Electronics    5.745237412999948E7
Crafts  5.7418154499999225E7
DVDs    5.764921213999939E7
Garden  5.7539833110000335E7
Health and Beauty   5.748158956000019E7
Men's Clothing  5.76212790400011E7
Music   5.749548970000038E7
Pet Supplies    5.71972502400004E7
Sporting Goods  5.7599085889999546E7
Toys    5.746347710999843E7
Video Games 5.7513165580000155E7
Women's Clothing    5.74344489699993E7

  2. Я подумал, что если закомментировать комбинатор, это будет хорошо.Я сделал это и не изменил результат.

     job.setCombinerClass(P1Q1Reduce.class);

  3. Я предоставил код, а ссылка purchases.txt здесь здесь .Если кто-то попытается решить проблему и успешно отправит в Udacity , пожалуйста, дайте мне знать.

1 Ответ

0 голосов
/ 19 октября 2018

По большей части, я бы сказал, что ваш код выглядит нормально, а Combiner - это просто оптимизация, поэтому исключение из него должно привести к тому же результату, что и включение.

Я написал свой собственный MR, и я получил этот вывод для данного ввода 

Children's Clothing 235.63
Men's Clothing  461.23
Music   66.08
Pet Supplies    493.51
Women's Clothing    153.57

Очевидно, что если у вас есть сотни и тысячи магазинов, то вы получите миллионыденежные единицы, как показано в вашей продукции.

Код 

@Override
public int run(String[] args) throws Exception {
    Configuration conf = getConf();
    Job job = Job.getInstance(conf, APP_NAME);
    job.setJarByClass(StoreSumRunner.class);

    job.setMapperClass(TokenizerMapper.class);
    job.setReducerClass(CurrencyReducer.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(DoubleWritable.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    return job.waitForCompletion(true) ? 0 : 1;
}

static class TokenizerMapper extends Mapper<LongWritable, Text, Text, DoubleWritable> {

    private final Text key = new Text();
    private final DoubleWritable sales = new DoubleWritable();

    @Override
    protected void map(LongWritable offset, Text value, Context context) throws IOException, InterruptedException {
        final String line = value.toString();
        final String[] data = line.trim().split("\\s\\s+");

        if (data.length < 6) {
            System.err.printf("mapper: not enough records for %s%n", Arrays.toString(data));
            return;
        }

        key.set(data[3]);

        try {
            sales.set(Double.parseDouble(data[4]));
            context.write(key, sales);
        } catch (NumberFormatException ex) {
            System.err.printf("mapper: invalid value format %s%n", data[4]);
        }
    }
}

static class CurrencyReducer extends Reducer<Text, DoubleWritable, Text, Text> {
    private final Text output = new Text();
    private final DecimalFormat df = new DecimalFormat("#.00");

    @Override
    protected void reduce(Text date, Iterable<DoubleWritable> values, Context context) throws IOException, InterruptedException {
        double sum = 0;
        for (DoubleWritable value : values) {
            sum += value.get();
        }
        output.set(df.format(sum));
        context.write(date, output);
    }
}
...