где происходит разделение ввода?

Question

У меня есть одно сомнение в том, что сокращение карты работает в конце до конца переполнения.Первые данные будут храниться в виде блоков в формате hdf. Входные данные вместе с функцией карты будут переданы менеджеру ресурсов. Менеджер ресурсов теперь распределяет задачи между менеджерами узлов. Я знаю, что разделение ввода выполняется с помощью формата вводаЯ хотел знать, где находится этот формат ввода. Разделение ввода выполняется до того, как задача назначена диспетчеру узлов, или это делается после того, как задача назначена менеджеру узла. Не могли бы вы уточнить мою путаницу.знать этот процесс в hadoop2

Answer 1

Входные данные вместе с функцией карты будут переданы менеджеру ресурсов.

Расположение данных будет предоставлено RM, так что любые чтения будут размещены первымикак NODE_LOCAL.Сами данные не перемещаются из узла данных до тех пор, пока не потребуется удаленное чтение.

где находится этот формат ввода

Сам класс находится на путях, показанных hadoop classpath.Разделение - это не отдельный объект данных, а только маркер границы в файле HDFS.

- это разделение входных данных, выполненное до того, как задача назначена диспетчеру узлов, или это делается после того, как задача назначена диспетчеру узлов.

Разделения вычисляются до ресурсовможно выделить.Количество разбиений определяет количество картографов