Операции копирования в случайном порядке и на этапе сортировки MapReduce

Question

Я весьма озадачен тем, что на этапах перемешивания и сортировки работа с m-мапперами и r-редукторами включает до mr операций копирования. По какому сценарию операции копирования достигнут максимального значения m * r?

Может ли кто-нибудь это проиллюстрировать?

Answer 1

Предположим, у вас есть 3 картографа и 1 редуктор. Каждая задача mapper выводит 1 файл (отсортированный по ключу), который записывается в локальную файловую систему, из которой запускалась функция map. Итак, у нас будет 3 таких выходных файла, распределенных по кластеру.

Поскольку редукторы не используют преимущества оптимизации локальности данных, и поскольку у нас есть только 1 редуктор, потребуется скопировать 3 разных выходных файла, которые каждая задача сопоставления создала в сети.

Следовательно, в этом сценарии задействованы m x n = 3 x 1 = 3 операции копирования.