Hadoop: сжатие вывода задания только для карты - PullRequest
1 голос
/ 07 ноября 2011

У меня есть задание только для карты, которое выводит в TextOutputFormat.

В настоящее время я вижу три способа сжатия моего вывода:

  1. путем определения карты для сжатия через mapred.compress.map.output. *

  2. путем определения вывода для сжатия через mapred.output.compression. *

  3. путем определения TextOutputFormat всжать через TextOutputFormat.setCompressOutput ()

  4. , составив одну или несколько из первых 3 возможностей.

Любое понимание того, как сделать это правильно

1 Ответ

0 голосов
/ 07 ноября 2011

Вариант 1 предназначен ТОЛЬКО для промежуточного вывода, Вариант 2 также работает, но это скорее подход mapred-site.xml, Вариант 3 - путь.

...