Сортировка пар ключ-значение после функции карты в mapreduce - PullRequest
0 голосов
/ 17 мая 2011

У меня есть файл, который содержит заголовки IP-пакетов в текстовом формате.

После функции сопоставления каждый метод сокращения вызывается для определенного IP-адреса. Я хочу значения в отсортированном порядке, но они не отсортированы. Значение в основном представляет собой строку, в которой есть метка времени. Я хочу, чтобы все значения в Reduce были отсортированы по отметке времени.

Пожалуйста, помогите мне, где сделать эту сортировку.

1 Ответ

0 голосов
/ 18 мая 2011

Hadoop MapReduce имеет функцию «Вторичная сортировка», которая делает то, что вы хотите.

В книге " Hadoop полное руководство " есть довольно хорошая глава по этому вопросу.

...