Я следую примеру от Google .
В моем старом коде мне нужно отправить следующую работу:
Configuration conf = HBaseConfiguration.create(); Job job = Job.getInstance(conf, "word count"); job.setJobName(""); job.setJarByClass(getClass()); // class that contains mapper and reducer job.setMapSpeculativeExecution(false); job.setCombinerClass(<JobCombiner>.class); job.setReducerClass(<JobReducer>.class); job.setReduceSpeculativeExecution(false); // some additional configs job.submit();
Как я могу перенести это работа в датапро c? Я пытаюсь следовать этому ответу - Как вы используете клиент Google DataPro c Java для отправки искровых заданий с использованием файлов JAR и классов в связанном GS-сегменте? Вместо SparkJob я использую HaoopJob. Но главная проблема здесь заключается в том, что нам нужно предоставить файл jar и main class. Есть ли способ, которым мы можем просто перенести существующий класс Job и запустить его в datapro c?
Учитывая этот код, вы сможете запускать jar mapreduce напрямую.
Если бы oop задания были настроены для их кластера из файлов конфигурации xml, которые существуют на каждом узле, обычно не в сам код