Как вытащить данные в функции Map / Reduce? - PullRequest
Новая
       9

Как вытащить данные в функции Map / Reduce?

7 голосов
/ 24 сентября 2011

Согласно Hadoop: полное руководство .

Новый API поддерживает стиль итерации «push» и «pull». В обоих API пары записей ключ-значение помещаются в преобразователь, но, кроме того, новый API позволяет преобразователю извлекать записи из метода map (). То же самое касается редуктора. Примером того, как стиль «тянуть» может быть полезен, является обработка записей партиями, а не одна за другой.

Кто-нибудь извлекал данные в функциях Map / Reduce? Меня интересует API или пример для того же.

1 Ответ

5 голосов
/ 26 сентября 2011

Я отправил запрос @ mapreduce-user@hadoop.apache.org и получил ответ.

Следующая пара значений ключа может быть получена из объекта контекста, который передается на карту, путем вызова nextKeyValue () на нем.Таким образом, вы сможете получить следующие данные из него в новом API.

В этом сценарии производительность pull лучше, чем push?Кроме того, в каких сценариях пулл будет полезен?

...