Hadoop, запуск задач

Question

Как программно добавить задачи в hadoop и запустить в моем приложении Java? Есть идеи? Спасибо.

Answer 1

В Java это довольно просто:

Configuration conf = new Configuration();
Job job = new Job(conf);
job.setJarByClass(YOUR_MAPPER.class);
job.setMapperClass(YOUR_MAPPER.class);
job.setReducerClass(YOUR_REDUCER.class);
job.setOutputKeyClass(YOUR_OUTPUT_KEY.class);
job.setOutputValueClass(YOUR_OUTPUT_VALUE.class);
FileInputFormat.addInputPath(job, new Path("YOUR_INPUT_PATH"));
FileOutputFormat.setOutputPath(job, new Path("YOUR_OUTPUT_PATH"));
System.exit(job.waitForCompletion(true) ? 0 : 1);

Если вам нужно отправить его в кластер, вы должны добавить эти значения в объект конфигурации:

conf.set("fs.default.name", "hdfs://localhost:9000");
conf.set("mapred.job.tracker", "localhost:9001");

Вы должны заменить порты и имя хоста на настроенные значения в каталоге кластера conf.