Получен неверный результат, когда -mapred.reduce.tasks больше 1 при использовании потоковой передачи hadoop - PullRequest
0 голосов
/ 20 мая 2019

Мне действительно нужна твоя помощь.

Я запустил проект потокового сокращения карты hadoop, и у меня был хороший результат, когда я тестировал свой код с помощью команды "cat | map | sort | Reduce" на моем ноутбуке. Я также могу получить то, что хочу, позволяя -mapred.reduce.tasks = 1, но когда я разрешаю -mapred.reduce.tasks больше 1, я получаю неправильный результат.

Правильный результат:

...
7823 0.0619 
7825 0.6695
9057 0.9281
...

Неправильный результат

...
7823 0.0
7825 0.0
9057 1.0
...

Спасибо

...