Как установить формат ввода hadoop в NLineInputFormat? - PullRequest
Новая
       6

Как установить формат ввода hadoop в NLineInputFormat?

4 голосов
/ 14 сентября 2011

Я пытаюсь ограничить количество строк, которые получает каждый из картографов.Мой код выглядит следующим образом: 

    package com.iathao.mapreduce;

    import java.io.IOException;
    import java.net.MalformedURLException;

    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapred.lib.NLineInputFormat;
    import org.apache.hadoop.mapreduce.Job;
    import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
    import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
    import org.apache.regexp.RESyntaxException;

    import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;

    public class Main {


    public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException, RESyntaxException {

    try {
        if (args.length != 2) {
            System.err.println("Usage: NewMaxTemperature <input path> <output path>");
            System.exit(-1);
        }
        Job job = new Job();
        job.setJarByClass(Main.class);
        job.getConfiguration().set("mapred.max.map.failures.percent", "100");
        // job.getConfiguration().set("mapred.map.max.attempts", "10");
        //NLineInputFormat. .setNumLinesPerSplit(job, 1);
        job.setInputFormatClass(NLineInputFormat.class);

В последней строке образца (job.setInputFormatClass (NLineInputFormat.class);) я получаю следующую ошибку: 

The method setInputFormatClass(Class<? extends InputFormat>) in the type Job is not applicable for the arguments (Class<NLineInputFormat>)

Я как-тополучить неправильный класс NLineInputFormat?

1 Ответ

9 голосов
/ 15 сентября 2011

Вы смешиваете старый и новый API.

import org.apache.hadoop.mapred.lib.NLineInputFormat;
import org.apache.hadoop.mapreduce.Job;

Согласно «Hadoop: полное руководство»

Новый API находится в пакете org.apache.hadoop.mapreduce (и подпакетах). Старый API все еще можно найти в org.apache.hadoop.mapred.

Если вы планируете использовать новый API, используйте NLineInputFormat из пакета org.apache.hadoop.mapreduce.

...