как заставить работать мойку Flink S3 в версии 1.9 - PullRequest
Новая
       7

как заставить работать мойку Flink S3 в версии 1.9

0 голосов
/ 03 октября 2019

Я пробую простую программу, которая читает файл из S3 и записывает в другое ведро в S3. конечная точка - это пользовательская конечная точка, совместимая с s3. 

public class StreamingJob {
public static void main(String[] args) throws Exception {
    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    Configuration configuration = new Configuration();
    configuration.setString("s3.access-key", "access-key");
    configuration.setString("s3.secret-key", "access-key");
    configuration.setString("s3.endpoint", "http://custom-endpoint:8081");
    configuration.setBoolean("s3.path.style.access",true);

    FileSystem.initialize(configuration, PluginUtils.createPluginManagerFromRootFolder(configuration));

    DataStream<String> result = env.readTextFile("s3://my-bucket/abc/f1.txt");
    result.writeAsText("s3://target-bucket/abc");

    env.execute("Flink Streaming Java API Skeleton");
}

}

Я что-то здесь упускаю? Пожалуйста, руководство.

...