Мы попытались использовать процессор CreateSequenceFile в NiFi, используя закодированное сжатие Snappy, мы столкнулись со следующей ошибкой:
java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy ()Z: java.lang.UnsatisfiedLinkError
После некоторых исследований кажется, что проблема в том, что в java отсутствуют нативные файлы snappy
Мы переместили нативные файлы snappy (в lib / hadoop / lib/ native) с нашего сервера hadoop на сервер nifi и перепробовал все, что мы можем найти.мы экспортировали LD_LIBRARY_PATH и JAVA_LIBRARY_PATH в этот каталог, добавили строку java.arg.16 = -Djava.library.path = / path / в / snappy / native / и даже поместили собственные файлы в $ JAVA_HOME / lib /родной каталог.ничего не помогло
Мы использовали lsof в процессе Java (NiFi) и обнаружили, что нет ссылок на эти файлы, но есть ссылка на /tmp/snappy-1.0.5-libsnappyjava.so,что может быть уместным.
Есть ли что-то, что мы могли бы упустить?