Как данные распределяются между узлами? - PullRequest
2 голосов
/ 17 ноября 2011

Мне было интересно изменить способ разделения входных данных заданий на конкретные узлы.

Я просмотрел код Hadoop в JobInprogress, но не смог узнать, как происходит фактическое распределение.

Как входные разбиения задания распределяются по узлам кластера?

Какие файлы Hadoop мне нужны, чтобы понять распределение?

1 Ответ

1 голос
/ 17 ноября 2011

Каждый формат ввода, такой как MultiFileInputFormat , реализует метод InputFormat # getSplits () , в котором рассчитываются входные сплиты.

...