Как спроектировать мой маппер? - PullRequest
Новая
       5

Как спроектировать мой маппер?

1 голос
/ 31 июля 2011

Я должен написать задание mapreduce, но я не знаю, как это сделать,

У меня есть jar-файл MARD.jar, через который я могу создавать объекты MARD. С помощью которого я вызываю для него файл-файл mard.normalize, то есть mard.normaliseFile (набор аргументов).

Этот inturn создает определенный выходной файл.

Для запуска нормализованного мясного каталога ему нужна папка myMard в рабочем каталоге. Поэтому я подумал, что я дам папку myMard в качестве входного пути к заданию hadoop, но не уверен, поможет ли это, потому что mard.normaliseFile (набор аргументов) будет искать папку myMard в рабочем каталоге, но не будет найти его как (** это то, что я думаю), Mapper сможет получить доступ к содержимому файлов только через «значения», полученные из fileSplit, он не может дать прямой доступ к файлам в папке myMard.

Короче говоря, я должен выполнить следующий код через MapReduce 

File setupFolder = new File(setupFolderName);

setupFolder.mkdirs();



MARD mard = new MARD(setupFolder);

Text valuz = new Text();

IntWritable intval = new IntWritable();

File original = new File("Vca1652.txt");

File mardedxml = new File("Vca1652-mardedxml.txt");

File marded = new File("Vca1652-marded.txt");



mardedxml.createNewFile();

marded.createNewFile();

NormalisationStats stats;

try {

stats = mard.normaliseFile(original,mardedxml,marded,50.0);

//This meathod requires access to the myMardfolder


System.out.println(stats);

} catch (MARDException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

Пожалуйста, помогите

...