Конфигурация задания MapReduce - невозможно установить режим убера - PullRequest
Новая
       7

Конфигурация задания MapReduce - невозможно установить режим убера

0 голосов
/ 10 апреля 2019

Я пытаюсь настроить задание MapReduce на uber mode, но консоль по-прежнему выходит из системы uber mode: false каждый раз, независимо от того, что я делаю. 

19/04/10 17:07:13 INFO mapreduce.Job: Job job_1554301089905_0055 running in uber mode : false

Мой класс Driver выглядит следующим образом: 

public class Driver extends Configured implements Tool {
    private static String generateName() {
        Timestamp timestamp = new Timestamp(System.currentTimeMillis());
        return "BRANDS" + "-" + timestamp.getTime();
    }

    @Override
    public int run(String[] args) throws Exception {
        Configuration configuration = getConf();
        configuration.set("mapreduce.job.ubertask.enable", "true");

        Job job = Job.getInstance(getConf(), generateName());
        job.setJarByClass(Driver.class);
        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);

        // ...
        // Other things regarding the input/output
        // ...

        return job.waitForCompletion(true) ? 0 : 1;
    }

    public static void main(String[] args) throws Exception {
        int exitCode = ToolRunner.run(new Driver(), args);
        System.exit(exitCode);
    }
}

Я также попытался без использования строки configuration.set("mapreduce.job.ubertask.enable", "true"); и просто запустил задание с параметром -D mapreduce.job.ubertask.enable=true. Однако, это все еще не работает.

Как правильно «уберигировать» работу?

Спасибо!

...