Вклад в Mapper в Hadoop

Question

Мы можем предоставить входные файлы мапперу как

FileInputFormat.setInputPaths (conf, inputPath);

Можно ли передать ссылку на память, скажем, дерево DOM, построенное с использованием синтаксического анализатора DOM, после синтаксического анализа XML-файла в качестве входных данных для функции сопоставления инфраструктуры Hadoop.

Какие другие возможности существуютесть

Answer 1

Нет, вы не можете указать информацию о памяти (RAM).

Причина в том, что в общем случае приложения Hadoop будут распределяться по множеству физически разделенных систем.Текущая версия Hadoop «только» поддерживает распределенные данные с использованием HDFS ..., которая представляет собой file system.

Что вы можете сделать, это добавить анализатор DOM в качестве шага предварительной обработки в свой маппери просто укажите входной тестовый файл в качестве входного.Это проще всего сделать, создав собственную производную FileInputFormat.

HTH