Какой протокол использует Hadoop shuffle? - PullRequest
2 голосов
/ 27 ноября 2011

На этапе перемешивания данных Hadoop отображенные данные передаются через узлы кластеров в соответствии с разделами для редуктора.Какой протокол использует Hadoop для перетасовки данных между узлами на этапе сокращения?

1 Ответ

2 голосов
/ 27 ноября 2011

Я действительно смеялся в первый раз, но все перетасовки и слияния выполняются HTTPServlet.

Это можно увидеть в исходном коде Tasktrackers в анонимном классе MapOutputServlet Он получает HTTP-запрос с идентификаторами задач и заданий, а затем передает входящий поток ввода в локальную файловую систему на диске.

...