Ошибка с java.lang.ArrayIndexOutOfBoundsException Hadoop MapReduce Process - PullRequest
Новая
       11

Ошибка с java.lang.ArrayIndexOutOfBoundsException Hadoop MapReduce Process

0 голосов
/ 26 сентября 2018

У меня есть некоторые проблемы с созданием карты, уменьшающей работу для обработки файла cdv.Проблема с картой, но я не уверен.Я делаю .. 

public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

        final String[] arrayCsv = value.toString().split(DELIMETER);

        LOG.info("This file has " + arrayCsv.length);

        final String victimas = format(arrayCsv[19]);
        final int intValue = NumberUtils.toInt(victimas);

        for (int i = 0; i < arrayCsv.length; i++) {

            String name = getNameById(i);

            if (i > 6 && i < 20 && validBooleanStatus(name)) {

                context.write(new Text(name), new IntWritable(intValue));
            }

        }
    }

Но когда я запускаю карту, сокращаю работу в моем кластере.Ну, я обнаружил эту ошибку .. 

Error: java.lang.ArrayIndexOutOfBoundsException: 19
at com.master.tarea.Task$MaperSolution.map(Task.java:99)
at com.master.tarea.Task$MaperSolution.map(Task.java:83)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

Я не понимаю, почему сокращение карты не может прочитать мой CSV-файл, но кажется, что файл не там.Пожалуйста, если вы видите некоторые проблемы с кодом, дайте мне знать.Большое спасибо за любую помощь, которую вы можете дать мне !!

РЕДАКТИРОВАТЬ

Это мой код работы ... 

public int run(String[] args) throws Exception {

    System.err.println("ENTRADA ........" + args[0]);
    System.err.println("SALIDA.........." + args[1]);

    if (args.length != 2) {
        System.err.println("AccidentMapReduce required params: {input file} {output dir}");
        System.exit(-1);
    }

    deleteOutputFileIfExists(args);

    final Job job = new Job(getConf());
    job.setJarByClass(Task.class);
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    job.setMapperClass(MaperSolution.class);
    job.setReducerClass(ReducerSolution.class);

    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.waitForCompletion(true);

    return 0;
}

Ответы [ 2 ]

0 голосов
/ 26 сентября 2018

У вас есть постоянный доступ к массиву в этой строке: 

final String victimas = format(arrayCsv[19]);

В сообщении говорится, что недопустимый индекс действительно 19.Поэтому я предполагаю, что массив меньше.Таким образом, у вас слишком короткая линия CSV.

0 голосов
/ 26 сентября 2018

Брошенный, чтобы указать, что к массиву обращались с недопустимым индексом.Индекс либо отрицателен, либо больше или равен размеру массива.

...