Ошибка запуска теста Hadoop HDFS - org.apache.hadoop.conf.Configuration NoClassDefFoundError

Question

Я работаю с Hadoop 0.21.0.и пытается запустить приложение hdfs_test, которое поставляется вместе с библиотекой C API.После многих проблем я смог скомпилировать hdfs_test.Теперь, когда я запускаю его:

./hdfs_test

Я получаю следующую ошибку:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
at org.apache.hadoop.conf.Configuration.<clinit>(Configuration.java:153)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.logging.LogFactory
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
... 1 more
Can't construct instance of class org.apache.hadoop.conf.Configuration
Oops! Failed to connect to hdfs!

Любая помощь приветствуется .. спасибо

Answer 1

Как и любой другой программе на Java, вам нужны зависимости в classpath или внутри jar. Hadoop также имеет HADOOP_CLASSPATH, чтобы сообщить кластеру, где найти зависимости в задачах сокращения карты. Также см. Как запустить программу Hadoop?