Как сохранить вывод только непустых редукторов в HDFS

Question

В моем приложении редуктор сохраняет все файлы деталей в HDFS, но я хочу, чтобы только редуктор записывал файлы деталей, размеры которых не равны 0 байтам. Пожалуйста, дайте мне знать, как его определить.

Answer 1

Возможно - см. Раздел документации "Ленивый вывод":

http://hadoop.apache.org/mapreduce/docs/current/mapred_tutorial.html#Lazy+Output+Creation

import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class); 

Answer 2

Если вы используете старый API, вы можете использовать класс NullOutputFormat:

import org.apache.hadoop.mapred.lib.NullOutputFormat;
conf.setOutputFormat(NullOutputFormat.class);