Как сохранить файл последовательности, созданный картой в hadoop

Question

Я использую hadoop и работаю с задачей карты, которая создает файлы, которые я хочу сохранить, в настоящее время я передаю эти файлы через сборщик для задачи сокращения.Затем задача сокращения передает эти файлы своему сборщику, что позволяет мне сохранять файлы.

Мой вопрос заключается в том, как надежно и эффективно сохранить файлы, созданные картой?

Я знаю, что могу отключить автоматическое удаление выходных данных карты, но нахмурились, они лучше подходят?

Спасибо

Answer 1

Вы можете разделить его на два задания.

Сначала создайте задание только на карте, выводя нужные вам файлы последовательности.

Затем, беря существующее задание (ничего не делая на карте)больше, но вы могли бы сделать некоторые хитрости в зависимости от вашей реализации и вариантов использования) и уменьшить, как вы делаете сейчас, вводя только предыдущее задание карты в качестве ввода для второго задания.

Вы можете обернуть все это в одинjar запускает 2 jar как таковые, передавая путь вывода в качестве аргумента пути ввода второго задания.