Установка дополнительного пути к классам для инструмента hadoop - PullRequest
5 голосов
/ 25 января 2012

Как я могу динамически настроить дополнительный путь к классу, чтобы jar-файлы были доступны из класса инструментов hadoop?Я управляю своей работой через "баночку с хопом".Мне нужно что-то вроде переключателя "-libjars", который, к сожалению, работает только для картографов и редукторов, и моя реализация Tool не видит jar-файлы, предоставляемые "libjars"

export "HADOOP_CLASSPATH = $ HADOOP_CLASSPATH: / path / to /my.jar && hadoop jar ... ", по-видимому, делает" my.jar "доступным для инструмента, но затем библиотеки, которые находятся внутри jar-задания в папке" / lib ", становятся недоступными.

1 Ответ

2 голосов
/ 15 июля 2013

Кроме того, если у вас есть конфликты с некоторыми jar-файлами, включенными в дистрибутив Hadoop, вы можете export HADOOP_USER_CLASSPATH_FIRST=true. Может быть кому-нибудь пригодится.

...