MapReduce shuffle / метод сортировки

Question

Довольно странный вопрос, но кто-нибудь знает, какой тип MapReduce использует в части сортировки в случайном порядке / сортировке? Я думаю, что слияние или вставка (в соответствии со всей парадигмой MapReduce), но я не уверен.

Answer 1

Это быстрая сортировка, после чего отсортированные промежуточные выходы объединяются. Быстрая сортировка проверяет глубину рекурсии и сдается, когда она слишком глубокая. Если это так, используется Heapsort.

Посмотрите на класс быстрой сортировки:

org.apache.hadoop.util.QuickSort

Вы можете изменить алгоритм, используемый с помощью значения map.sort.class в hadoop-default.xml .

Answer 2

Чтобы узнать больше об этом, не стесняйтесь читать об этом в посте: Map-Reduce:Shuffle and sort в моем блоге: Hadoop: некоторые существенные понимания