Не получается правильный вывод при запуске стандартной программы "WordCount" с использованием Hadoop0.20.2

Question

Я новичок в Hadoop. Я пытался запустить знаменитую программу "WordCount", которая подсчитывает общее количество слов в списке файлов, используя Hadoop-0.20.2.Я использую кластер с одним узлом.

Follwing - моя программа:

import java.io.File;импорт java.io.IOException;import java.util. *;

import org.apache.hadoop.fs.Path;import org.apache.hadoop.conf. ;import org.apache.hadoop.io. ;import org.apache.hadoop.mapreduce. *;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

открытый класс WordCount {

public static class Map extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
} 

public static class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> {

    public void reduce(Text key, Iterator<IntWritable> values, Context context) 
    throws IOException, InterruptedException {
        int sum = 0;
        while (values.hasNext()) {
            ++sum ;
        }
        context.write(key, new IntWritable(sum));
    }
}

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = new Job(conf, "wordcount");        
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));        
    job.setJarByClass(WordCount.class);
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);
    job.setMapperClass(Map.class);
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);       

    job.setReducerClass(Reduce.class);          
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);              
    job.setNumReduceTasks(5);        
    job.waitForCompletion(true);       

}

}

Предположим, входным файлом является A.txt, который имеетследующее содержание

ABCDABCD

Когда я запускаю эту программу, используя hadoop-0.20.2 (без ясности команды), выводится A 1 A 1 B 1 B!C 1 C 1 D!D 1

, что неверно. Фактический вывод должен быть: A 2 B 2 C 2 D 2

Эта программа "WordCount" является довольно стандартной программой. Я действительно не уверен, что не такс этим кодом.Я правильно написал содержимое всех файлов конфигурации, таких как mapred-site.xml, core-site.xml и т. Д.

Буду признателен, если кто-нибудь мне поможет.

Спасибо.

Answer 1

уменьшить подпись неверно.Второй параметр - это тип Iterable, а не Iterator

http://hadoop.apache.org/common/docs/r0.20.1/api/org/apache/hadoop/mapreduce/Reducer.html

См. Также При первом использовании Hadoop задание MapReduce не запускается Reduce Phase

Answer 2

Этот код фактически выполняет локальное задание mapreduce. Если вы хотите отправить это в реальный кластер, вы должны предоставить параметры конфигурации fs.default.name и mapred.job.tracker. Эти ключи отображаются на вашем компьютере с парой хост: порт. Как в вашем mapred / core-site.xml.
Убедитесь, что ваши данные доступны в HDFS, а не на локальном диске, так как количество ваших редукторов должно быть уменьшено. Это примерно 2 записи на редуктор. Вы должны установить это в 1.