Я учу себя Hadoop и модели программирования Map Reduce. Я пытаюсь понять это основные элементы: Я пытаюсь сопоставить каждый из элементов ниже с признаками ниже:
- Переходник
- Сумматор
- Перемешать и отсортировать
- Mapper
- Разметка
- Тиражирование
Функции, которые я должен отобразить для перечисленных выше компонентов Hadoop:
- Группировка, перемещение вычислений в данные, помощь в устранении узких мест на этапе копирования, нагрузка, балансировка, фильтрация данных, глобальные вычисления
Мое понимание:
Reducer ---> глобальные вычисления, Combiner ---> группирование, перемешивание и сортировка (процесс перемещения данных из картографов в редукторы) -> перемещение вычислений в данные. Mapper -> (фильтрация данных)
Partitioner -> балансировка нагрузки и, наконец, репликация -> помогает с узким местом фазы копирования.
Я был бы очень признателен, если бы кто-нибудь проверил мое понимание основных компонентов hadoop и исправил меня в случае необходимости.