UnsatisfiedLinkError при использовании flink-s3-fs-hadoop - PullRequest
Новая
       7

UnsatisfiedLinkError при использовании flink-s3-fs-hadoop

0 голосов
/ 11 сентября 2018

У меня есть опыт UnsatisfiedLinkError, когда я пытался использовать flink-s3-fs-hadoop, чтобы опуститься до s3 на моей локальной машине с Windows.

Я гуглил и пробовал несколько решений, таких как загрузка hadoop.dll и winutils.exe, настройка HADOOP_HOME и PATH переменных среды, копирование hadoop.dll в C:\Windows\System32, но ни одно из них не сработало.

Я также сам пытался загрузить библиотеку hadoop в коде с помощью System.loadlibrary("hadoop"), все прошло успешно, но ошибка все-таки произошла, какой-то дополнительный шаг, который я пропустил?

Вот мой код (2-я и 3-я строки просто пытаются отладить, и это будет успешно на 2-й строке, но в 3-й строке выдается исключение UnSatisfiedLink): 

public static void main(String[] args) throws Exception { 
    System.loadLibrary("hadoop"); 
    NativeIO.Windows.access(null, NativeIO.Windows.AccessRight.ACCESS_READ); 
    StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 
    env.setParallelism(1); 
    DataStream<String> ds = env.readTextFile("s3://fts-test/test/input.csv"); 
    ds.print(); 
    ds.writeAsText("s3://fts-test/test/output.csv"); 
    env.execute(); 
}

Кстати, я использую Window 7 64 bit, flink 1.5.

...