Альтернативы для запуска jar-карты в Hadoop - PullRequest
Новая
       9

Альтернативы для запуска jar-карты в Hadoop

1 голос
/ 25 сентября 2019

Я знаю, что команда hadoop jar используется для запуска jar Map-Reduce в Hadoop, но этот метод setJar(String jar) присутствует в классе Job API Map-Reduce.На этой странице документации API упоминается Jar в качестве параметра класса Job.

Поэтому мне было интересно, есть ли способ запустить файл jar, кроме hadoop jar, и какова роль этого метода setJar ().

Любая помощь будет отличной.TIA:)

1 Ответ

1 голос
/ 27 сентября 2019

Внутренне Hadoop пытался найти jar для работы, для этого классы вашей работы должны быть упакованы в JAR для работы.Поэтому setJar () и setJarByClass () больше ничего не делают.

См. Hadoop: полное руководство, 4-е издание Тома Уайта

Для началаклассы задания должны быть упакованы в файл JAR задания для отправки в кластер.Hadoop автоматически найдет JAR для задания, выполнив поиск JAR по пути к классу драйвера, который содержит класс, установленный в методе setJarByClass () (в JobConf или Job).В качестве альтернативы, если вы хотите установить явный файл JAR по его пути к файлу, вы можете использовать метод setJar ().(Путь к файлу JAR может быть локальным или путь к файлу HDFS.)

...