CompressionTest для LZO не удается - PullRequest
Новая
       23

CompressionTest для LZO не удается

2 голосов
/ 08 июля 2011

Я искренне благодарю вас за чтение моего поста.

Я пытаюсь установить кодек сжатия LZO 2.03 на HBase на моем сервере (с процессорами Xeon).В настоящее время я использую Hadoop 0.20.1 с HBase 0.90.2.

Я следовал рекомендациям http://wiki.apache.org/hadoop/UsingLzoCompression. И я загрузил собственный разъем LZO (Hadoop-GPL-Compression) из http://code.google.com/p/hadoop-gpl-compression/.

Я установил библиотеку lzo, используя ./configure --prefix=/home/ckwon/wks/test/lzo_lib_x64 --enable-shared --disable-asm --build=x86_64-pc-linux-gnu

(с make install в пользовательский каталог).

И затем я скопировал все файлы библиотеки LZO иФайлы сжатия GPL (включая native /) в $ HADOOP_HOME / lib / и $ HBASE_HOME / lib

Затем я запустил bin / hbase org.apache.hadoop.hbase.util.CompressionTest с помощью следующего скрипта: 

setenv CLASSPATH_HBASEI    `ls ${HBASE_HOME}/*.jar |& awk '{printf( ":%s", $1 );}'`
setenv CLASSPATH_HBASELIBI `ls ${HBASE_HOME}/lib/*.jar |& awk '{printf( ":%s", $1 );}'`
setenv CLASSPATH_LZO  $HBASE_HOME/lib/native/liblzo2.so

setenv CLASSPATH ${CLASSPATH_HBASEI}${CLASSPATH_HBASELIBI}

setenv LD_LIBRARY_PATH64 $HBASE_HOME/lib/native
#setenv LD_LIBRARY $HBASE_HOME/lib/native

ls -l $LD_LIBRARY_PATH64

set JAVA=$JAVA_HOME/bin/java

set   JAVA_PLATFORM=`CLASSPATH=${CLASSPATH};${JAVA} org.apache.hadoop.util.PlatformName | sed -e "s/ /_/g"`
echo JP=$JAVA_PLATFORM

set      JAVA_LIBRARY_PATH=${HBASE_HOME}/lib/native/${JAVA_PLATFORM}
echo
echo java_lib_path---
echo
echo $JAVA_LIBRARY_PATH

cd $HBASE_HOME
./bin/hbase org.apache.hadoop.hbase.util.CompressionTest hdfs://SERVER:PORT/COMPRESSION_TEST_RUNNER.sh lzo

И он генерирует 

INFO lzo.GPLNativeCodeLoader: Loaded native gpl library
WARN lzo.LzoCompressor: java.lang.UnsatisfiedLinkError: Cannot load liblzo2.so.2 (liblzo2.so.2: cannot open shared object file: No such file or directory)!
ERROR lzo.LzoCodec: Failed to load/initialize native-lzo library
    java.lang.RuntimeException: native-lzo library not available
            at com.hadoop.compression.lzo.LzoCodec.getCompressorType(LzoCodec.java:135)
            at org.apache.hadoop.io.compress.CodecPool.getCompressor(CodecPool.java:98)
            at org.apache.hadoop.hbase.io.hfile.Compression$Algorithm.getCompressor(Compression.java:200)
            at org.apache.hadoop.hbase.io.hfile.HFile$Writer.getCompressingStream(HFile.java:397)
            at org.apache.hadoop.hbase.io.hfile.HFile$Writer.newBlock(HFile.java:383)
            at org.apache.hadoop.hbase.io.hfile.HFile$Writer.checkBlockBoundary(HFile.java:354)
            at org.apache.hadoop.hbase.io.hfile.HFile$Writer.append(HFile.java:536)
            at org.apache.hadoop.hbase.io.hfile.HFile$Writer.append(HFile.java:515)
            at org.apache.hadoop.hbase.util.CompressionTest.main(CompressionTest.java:126)

Я попытался перестроить библиотеку LZO в коде сборки x86_64-pc с i386, но она все еще вызывает ошибку.

Буду благодарен за любые предложения.

1 Ответ

2 голосов
/ 05 ноября 2012

Установите собственные библиотеки LZO на главном и подчиненном серверах. Например. на Ubuntu 

sudo apt-get install liblzo2-dev

Если у вас возникли проблемы после выполнения инструкции по установке Cloudera , попробуйте скопировать файлы libgplcompression * в вашу папку Hadoop lib. В Ubuntu, если вы следовали инструкциям по установке Cloudera, это будет: 

sudo cp /usr/local/hadoop/lib/native/Linux-amd64-64/lib/libgplcompression.* \
    /usr/lib/hadoop/lib/native/
...