Почему раздел должен быть отсортирован до сокращения? - PullRequest
0 голосов
/ 01 октября 2018

С здесь :

Согласно руководству по определению hadoop "Внутри каждого раздела фоновый поток выполняет сортировку в памяти по ключу, и, если естьфункция объединения, она запускается на выходе вида "

. Я думал, что раздел соответствует одному ключу, и, таким образом, задача сокращения уменьшит связку групп значений только с одним ключом.Если есть только один ключ, раздел уже не отсортирован?

В конце концов, этот ответ от здесь , мне кажется, противоречит предыдущей цитате:

Сортировка экономит время для редуктора, помогая легко определить, когда должна начинаться новая задача сокращения.Он просто запускает новую задачу сокращения, когда следующая клавиша в отсортированных входных данных отличается от предыдущей, проще говоря.

Это говорит о том, что задача сокращения связана с одной клавишей,и поскольку у каждой задачи сокращения есть один раздел, раздел связан с одним ключом.Так почему же в каждом разделе должна быть сортировка, если есть только один ключ?

...