Пользовательский формат ввода MapReduce - не удается найти конструктор - PullRequest
Новая
       7

Пользовательский формат ввода MapReduce - не удается найти конструктор

7 голосов
/ 23 августа 2011

Я пишу пользовательский InputFormat для Hadoop 0.20.2 и сталкиваюсь с NoSuchMethodException, от которого я не могу избавиться. Я начал с: 

public class ConnectionInputFormat extends FileInputFormat<Text, Connection> {

    @Override
    public RecordReader<Text, Connection> createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
        return new ConnectionRecordReader();
    }
}

Я получил эту ошибку при запуске: 

Exception in thread "main" java.lang.RuntimeException: java.lang.NoSuchMethodException: testingground.TestInputJob$ConnectionInputFormat.<init>()
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:115)
at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:882)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:779)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:447)
at testingground.TestInputJob.run(TestInputJob.java:141)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at testingground.TestInputJob.main(TestInputJob.java:156)
Caused by: java.lang.NoSuchMethodException: testingground.TestInputJob$ConnectionInputFormat.<init>()
at java.lang.Class.getConstructor0(Class.java:2706)
at java.lang.Class.getDeclaredConstructor(Class.java:1985)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:109)
... 8 more
Java Result: 1

После первоначального получения ошибки и исследования в Интернете я подумал, что, возможно, у меня не было конструктора с нулевым аргументом, поэтому я добавил один: 

public class ConnectionInputFormat extends FileInputFormat<Text, Connection> {

    public ConnectionInputFormat() {
        System.out.println("NetflowInputFormat Constructor");
    }

    @Override
    public RecordReader<Text, Connection> createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
        return new ConnectionRecordReader();
    }
}

Это тоже не сработало, поэтому я добавил второй конструктор, который принимает любое количество объектов: 

public class ConnectionInputFormat extends FileInputFormat<Text, Connection> {

    public ConnectionInputFormat() {
        System.out.println("NetflowInputFormat Constructor");
    }

    public ConnectionInputFormat(Object... o) {
        System.out.println("NetflowInputFormat Constructor");
    }

    @Override
    public RecordReader<Text, Connection> createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
        return new ConnectionRecordReader();
    }
}

По-прежнему получаю ту же ошибку, но пока не удалось найти решение.

Полный источник тока: http://pastebin.com/2XyW5ZSS

1 Ответ

7 голосов
/ 23 августа 2011

Ваш класс ConnectionInputFormat должен быть статическим. Нестатические вложенные классы имеют подразумеваемое «this», добавленное к каждому конструктору. Таким образом, ваш конструктор без аргументов фактически имеет невидимый аргумент, если класс не объявлен как статический.

...