java.io.IOException: error = 2, нет такого файла или каталога в потоковой передаче Hadoop

Question

Пожалуйста, помогите с опцией "-file" потоковой передачи hadoop (упомянутой в ссылке ниже). просто чтобы обновить, я знаю, что jar уже есть, я пробую это после того, как я попробовал потоковую передачу hadoop для другого файла класса, который не удался, чтобы определить, есть ли что-то не так с самим файлом класса или с тем, как я используй это. если вам нужен файл stderr, пожалуйста, дайте мне знать.

Проблема с опцией Hadoop Streaming -file для файлов классов Java .

Answer 1

Чтобы добавить более одного jar-файла в CLASSPATH .. вы можете использовать параметры -libjars, как указано в уроке hadoop (найдите слово "libjar" на странице).

Answer 2

вы не можете использовать -file для отправки через jar, поскольку hadoop не поддерживает несколько jar (которых еще не было в CLASSPATH), отметьте потоковые документы :

По крайней мере, начиная с версии 0.14, Hadoop не поддерживает несколько файлов JAR.Таким образом, при указании ваших собственных пользовательских классов вы должны будете упаковать их вместе с потоковым jar и использовать пользовательский jar вместо стандартного потокового jar hadoop.