Запустить функцию hadoop во время выполнения - PullRequest
0 голосов
/ 20 октября 2019

У меня проблема, я пытаюсь запустить карту и уменьшить функцию во время выполнения. В моем примере у меня есть программа, которая что-то делает, в то время как программа работает, мне нужно использовать hadoop.

Так могу ли я, и если да, то как, могу использовать функцию map и уменьшить, когда программа уже запущена? Мне нужно передать некоторые входные данные в функцию карты, но я вижу hadoop, который использует «задание» для установки ввода и вывода (в примере WordCount), как это:

        // Adding the Input path  
        FileInputFormat.addInputPath(job, new Path(p0));  
        // Setting the output path  
        FileOutputFormat.setOutputPath(job, new Path(p1));  

Мне нужно будет дать в функции карты aДвойная переменная, и мне не нужен действительно вывод, потому что я должен был взять вывод из функции Reduce.

...