Чтение Hadoop из стандартного потока ввода

Question

Я хочу, чтобы моя программа MapReduce читала из стандартного потока ввода (System.in) Например, в методе run () как сделать так, чтобы моя программа читала из System.in вместо файла, подобного этому ... FileInputFormat.addInputPath (job, new Path ("dummy.txt"));

Также, какой класс я должен установить для job.setInputFormat (...)

Answer 1

Используйте Hadoop Streaming для этого:

http://wiki.apache.org/hadoop/HadoopStreaming

Поддерживает стандартный ввод, стандартный вывод

Answer 2

Я не видел такого InputFormat , присутствующего в hadoop.Возможно, вам придется время от времени писать System.in и запускать задание hadoop в течение сохраненного контента каждый раз, когда вы его получаете.

Такая ситуация встречается часто при использовании hadoop для обработки файлов журнала, которые создаются / заполняютсянепрерывно.В таком случае целесообразно получать файлы журнала ежедневно или еженедельно и запускать над ним задание hadoop, как только вы его получите.