Как добавить стороннюю банку в mapreduce?

Question

В поисках решения для добавления стороннего jar в задание mapreduce. В настоящее время мы добавляем стороннюю флягу в работу по сокращению карты. Иногда кажется, что размер кувшина для работы с картой очень велик. Есть ли другой подход для преодоления этой проблемы

Answer 1

Используйте приведенное ниже предложение.

экспорт HADOOP_CLASSPATH = $ HADOOP_CLASSPATH: / путь / к / мой / jar1: / путь / к / мой / jar2

Затем вы можете запускать задания hadoop как обычно: hadoop jar [mainClass]. Для более подробной информации проверьте это из .

Answer 2

Я считаю, что "-libjars jar1, jar2, ..." - это то, что вам нужно здесь

Answer 3

Как правило, переход по маршруту uber jar является хорошим, добавление jar в общий путь к классу java становится проблематичным, если у вас есть зависимости от другой версии одного jar для разных заданий MapReduce.