Hadoop - обмен файлами между несколькими заданиями в цепочке - PullRequest
0 голосов
/ 10 июня 2011

Я написал приложение для уменьшения карты, которое состоит из двух фаз уменьшения карты.

двоичный входной файл -> m1-> r1 -> m2 -> r2 -> вывод текста

Входной файл моего приложения содержит небольшой фрагмент данных (<1 КБ), который необходим второму преобразователю (r2).Я написал специальную программу для чтения записей, которая извлекает эти данные, но как мне передать это следующей работе?Похоже, что это работа для DistributedCache, но похоже, что файлы кэша DistributedCache находятся в пустом пространстве одного задания.Каков наилучший способ обмена небольшими данными между различными заданиями в одной цепочке? </p>

1 Ответ

0 голосов
/ 10 июня 2011

Попробуй hadoop с опцией -files У меня была похожая проблема в прошлом, и опция -files работала для меня. Взгляните здесь

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...