MultiOuputFormat в mapreduce пропускает несколько записей при записи в вывод - PullRequest
0 голосов
/ 08 ноября 2018

Я просто использую приведенный ниже код для записи в 2 разных выхода

org.apache.hadoop.mapreduce.lib.output.MultipleOutputs multipleOutputs = new MultipleOutputs <> (context);multipleOutputs.write (result, null, tempPath1);multipleOutputs.write (result, null, tempPath2);

Я просто применяю несколько различных бизнес-логик к входной записи карты и после этого сохраняю их на двух разных выходных данных.

Иногда записывается всевходные записи для вывода, а иногда и его нет. Для случаев, когда он записывает только несколько записей (пропуская несколько) для вывода, когда мы повторно запускаем их снова, он работает нормально.Поэтому я не могу найти основную причину.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...