Пример Hadoop WordCount - реализация сортировки

Question

Я новичок в Hadoop. Мне удалось успешно запустить пример WordCount.

Я хотел бы изменить этот пример так, чтобы мой вывод сортировался в порядке возрастания количества. Я не могу понять, где мне нужно будет внести необходимые изменения.

Было бы замечательно, если бы кто-нибудь дал мне какое-то руководство по осуществлению сортировки?

Answer 1

См. org.apache.hadoop.examples.Sort

Это не очень просто сделать с помощью карты / уменьшения.Это включает взятие гистограммы ваших данных и использование TotalOrderPartitioner.

В качестве альтернативы, вы можете использовать Hive или Pig, который имеет встроенные функции для сортировки.