Запрос Hadoop относительно метода setJarByClass класса Job

Question

В документации по Hadoop API указано

, что

setJarByClass 

public void setJarByClass(Class<?> cls)

Set the Jar by finding where a given class came from.

Что именно означает это объяснение? это создает файл JAR из аргумента файла класса, указанного в методе выше? и выполняет ли этот файл JAR для задачи MapReduce .?

Answer 1

Этот метод устанавливает файл jar, в котором каждый узел будет искать классы Mapper и Reducer.

Он не создает банку из данного класса. Скорее, он идентифицирует банку, содержащую данный класс. И да, этот файл jar «выполняется» (в действительности выполняются Mapper и Reducer в этом файле jar) для задания MapReduce.

(см. Также ответ Стэнли Сюй на аналогичный вопрос о необходимости этого метода, поскольку вы задаете банку в командной строке)

Answer 2

Обратите внимание, что вышеуказанный метод класса Job вызывается в драйвере.Ваш драйвер вызывается из клиента, обычно это ваш рабочий стол или пограничный компьютер, который не является частью кластера, и ваши классы (в jar-файлах) будут находиться на этом компьютере.Чтобы ваше задание mapreduce выполнялось в кластере, вам необходимо отправить свой Mapper, редуктор и любые другие необходимые классы в кластер с вашего клиентского компьютера.Ваш класс драйверов заботится об отправке JAR-файла, содержащего необходимые классы, в кластер.Какой JAR-файл нужно отправить, нужно указать, так как драйвер не знает, какой из них следует отправить из кучи JAR-файлов, которые есть в пути к классу вашего драйвера.Это делается с помощью метода setJarByClass или setJar или любого другого варианта аналогичного метода в классе Job.

Очевидно, что если вы не укажете это, то есть не вызывая этот метод или не комментируя его, вы получите исключение ClassNotFoundна подчиненных узлах.

Надеюсь, это проясняет!

Answer 3

job.setJarByClass(WordCount.class);

Помогает определить Jar, который содержит Mapper и Reducer, указав класс в этом Jar.