карта цепи Hadoop / уменьшить - PullRequest
1 голос
/ 23 марта 2011

Я подключил 2 картографа, а затем 1 редуктор. Можно ли записать промежуточные выходы (o / p каждого преобразователя в цепочке) в HDFS? Я попытался установить OutputPath для каждого, но это не похоже на работу. Теперь я не уверен, можно ли это сделать вообще. Есть предложения?

1 Ответ

3 голосов
/ 23 марта 2011

Результат всегда записывается в HDFS как SequenceFile.Но если вы используете редуктор, эти парни - просто временные файлы, и они удаляются после завершения работы.Если вам нужен вывод карты, вы должны объединить два задания.Одна работа без редуктора и работа с редуктором.Или, если у вас есть небольшой навык в написании файлов hdfs из задачи карты, это также возможно.
Первый подход не закодирован, но второй.Вам решать!

...