Какие-нибудь советы по устранению проблем с вторичной сортировкой в ​​задании Hadoop MapReduce?

Question

Я верю (верил?), Что понимаю, как работает вторичная сортировка в Hadoop.Я создал промежуточный ключ, состоящий из 4 полей.Я делю по первому полю, группирую по первому и второму и сортирую по всем 4.

Похоже, я прибил группирование и разбиение вниз, но значения приходят в редуктор не по порядку.

Есть идеи, как подойти к отладке этого?

Answer 1

На данный момент кажется, что статический просмотр кода вручную или с помощью инструментов работает хорошо. Я считаю, что нарушил правило: при переопределении compareTo() не забудьте переопределить equals() и hashCode(). Я буду держать всех в курсе, если решение этой проблемы решит проблему.