java.io.IOException: не найден кодек LZO, не может работать

Question

Я пытался использовать lzo в своем скрипте улья, но получил это сообщение об ошибке. Казалось, что у меня нет класса для lzo в classpath.

Кто-нибудь еще сталкивался с этой проблемой раньше, как решить эту проблему, может быть, мне нужно знать, что я могу получить jar-файл для сжатия lzo, thx.

Answer 1

Неправильная конфигурация Lzo в одном (или во всех) узлах.

Добавьте следующую конфигурацию в core-site.xml.

<property> 
  <name>io.compression.codecs</name> 
  <value>org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec</value> 
</property> 
<property> 
  <name>io.compression.codec.lzo.class</name> 
  <value>com.hadoop.compression.lzo.LzoCodec</value> 
</property> 

Answer 2

Здесь - некоторые подробные инструкции по настройке сжатия LZO.