Как использовать формат MultipleOutputs для генерации произвольного имени файла с генерацией других файлов - PullRequest
0 голосов
/ 21 сентября 2018

Я пишу файлы Orc, используя формат MultipleOutputs, чтобы создать собственное имя файла.Я устанавливаю драйвер, как показано ниже

MultipleOutputs.addNamedOutput(job, "MyPrefix", OrcNewOutputFormat.class, NullWritable.class, Writable.class);

В редукторе, как показано ниже

Настройка:

_multipleOutputs = new MultipleOutputs<NullWritable, Writable>(context);

Метод уменьшения:

_multipleOutputs.write("MyPrefix", NullWritable.get(), row);

ОчисткаМетод:

_multipleOutputs.close();

Хотя для файлов, имеющих данные, он генерирует с префиксом «MyPrefix», но также генерирует файл part-00000 без записи.

Пожалуйста, дайте мне знать, как я могу остановитьредуктор, генерирующий этот пустой файл с именем part-00000.

...