Hadoop: Как скомпилировать libhdfs.so?

Question

Мы используем Hadoop через API Hadoop C / C ++ (libhdfs.so). Мы используем последнюю стабильную версию Hadoop, которая является 0.20.203. К сожалению, нет четких (и актуальных) инструкций для сборки libhdfs.so. Когда я пытаюсь собрать Hadoop с помощью ant, он терпит неудачу и не собирает библиотеку libhdfs.so.

Пробовал с использованием следующего:

ant -Dcompile.c++=true -Dlibhdfs=true compile-c++-libhdfs

В строке 1761 файла build.xml, похоже, происходит сбой. В этой строке есть следующий xml:

<exec executable="${c++.libhdfs.src}/configure" dir="${build.c++.libhdfs}"
          failonerror="yes">

У кого-нибудь есть инструкции по сборке libhdfs.so на Ubuntu 64bit 10.10?

Answer 1

Я нашел решение своей проблемы. Это не удавалось, потому что конфигурация уже была выполнена, и мне нужно было сделать make dist clean в каталоге «src / c ++ / libhdfs» перед сборкой библиотеки. Теперь он работает как положено, используя:

ant -Dcompile.c++=true -Dlibhdfs=true compile-c++-libhdfs

Answer 2

Если вы работаете с hadoop-2.7.2, вы можете использовать cmake в hadoop / hadoop-hdfs-project / hadoop-hdfs / src:

cmake -DJAVA_HOME=<your_jdk_path> -DGENERATED_JAVAH=<your_jdk_path> -DJAVA_JVM_LIBRARY=<your_jdk_path/jre/lib/amd64/server/libjvm.so> -DJAVA_INCLUDE_PATH=<your_jdk_path/include> -DJAVA_INCLUDE_PATH=<your_jdk_path/include/linux>

Тогда он сгенерирует make-файл для вас. Тогда вы делаете: make