О WaterDrop читать куст Причины: java .lang.IllegalArgumentException: код сжатия c com.had oop .compression.lzo.LzoCode c не найден - PullRequest
0 голосов
/ 16 января 2020
Exception in thread "main" java.lang.Exception: java.lang.RuntimeException: Error in configuring object 
Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.LzoCodec not found.
at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:139)
at org.apache.hadoop.io.compress.CompressionCodecFactory.<init>(CompressionCodecFactory.java:180)
at org.apache.hadoop.mapred.TextInputFormat.configure(TextInputFormat.java:45)
... 69 more
Caused by: java.lang.ClassNotFoundException: Class com.hadoop.compression.lzo.LzoCodec not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2101)
at org.apache.hadoop.io.compress.CompressionCodecFactory.getCodecClasses(CompressionCodecFactory.java:132)
... 71 more`enter code here`

Я хочу использовать WaterDrop для чтения данных улья в ClickHouse, но при чтении данных куста приложение не удалось. Мой сжатый формат oop - это LZO, и я пытаюсь настроить конфигурацию spark.env. sh append lzo site, и я создаю мягкое соединение lzo в spark / jar ,, но они не имеют эффекта… если вы знаете, как это сделать Пожалуйста, помогите мне, спасибо вам большое

...