Я не могу понять, в чем ошибка, когда я удалил job.setSortComparatorClass(LongWritable.DecreasingComparator.class);
Я получил вывод, но когда я попытался использовать его, я получаю это исключение.
Imпытаясь получить выходные данные в порядке убывания от редуктора на основе значения, поэтому я использовал setsortcomparator класс, поэтому, пожалуйста, помогите мне
package topten.mostviewed.movies;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
public class MostViewdReducer extends Reducer<Text,IntWritable,Text,LongWritable>
{
public void reduce(Text key,Iterable<IntWritable> values,Context context) throws IOException,InterruptedException
{
int sum = 0;
for(IntWritable value:values)
{
sum = sum+1;
}
context.write(key, new LongWritable(sum));
}
}
package topten.mostviewed.movies;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.RawComparator;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class MostViewdDriver
{
// @SuppressWarnings("unchecked")
public static void main(String[] args) throws Exception
{
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if (otherArgs.length != 2)
{
System.err.println("Usage: movie <input> <out>");
System.exit(2);
}
Job job = new Job(conf, "Movie ");
job.setJarByClass(MostViewdDriver.class);
job.setMapperClass(MostviewdMapper.class);
job.setReducerClass(MostViewdReducer.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(LongWritable.class);
job.setSortComparatorClass(LongWritable.DecreasingComparator.class);
// job.setSortComparatorClass((Class<? extends RawComparator>) LongWritable.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
Исключение, которое я получаю, выглядит следующим образом:
18/10/11 11:35:05 ИНФОРМАЦИЯ mapreduce.Job: идентификатор задачи: попытки_1539236679371_0004_r_000000_2, состояние: Сбой: ошибка: java.lang.ArrayIndexOutOfBoundsException: 7 at org.apache.Writable.hadoopio.io.readInt (WritableComparator.java:212) в org.apache.hadoop.io.WritableComparator.readLong (WritableComparator.java:226) в org.apache.hadoop.io.LongWritable $ Comparator.compare (LongWritable.java:91) вorg.apache.hadoop.io.LongWritable $ DecreasingComparator.compare (LongWritable.java:106) по адресу org.apache.hadoop.mapreduce.task.ReduceContextImpl.nextKeyValue (ReduceContextImpl.java:15ap.h.deg. ath илиtask.ReduceContextImpl.nextKey (ReduceContextImpl.java:121) в org.apache.hadoop.mapreduce.lib.reduce.WrappedReducer $ Context.nextKey (WrappedReducer.java:307) в org.apache.hadoop.maprecerr.Java: 170) в org.apache.hadoop.mapred.ReduceTask.runNewReducer (ReduceTask.java:627) в org.apache.hadoop.mapred.ReduceTask.run (ReduceTask.java:389) в org.apache.hadoop.map.YarnChild $ 2.run (YarnChild.java:168) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1642) в org.apache.hadoop.mapred.YarnChild.main (YarnChild.java:163)