Как создать конвейер Kafka to s3 с помощью Apache Camel - PullRequest
Новая
       60

Как создать конвейер Kafka to s3 с помощью Apache Camel

0 голосов
/ 09 ноября 2019

Я пытаюсь создать конвейер из kafka и записать его в s3, используя Apache Camel, но проблема, с которой я сталкиваюсь, заключается в том, что я на самом деле не знаю размер сообщений для установки в заголовке (так как каждое сообщениеразного размера). Есть ли способ пакетной вставки сообщений в s3, например, ожидание 10 сообщений для верблюда из kafka и вставка 10 за раз в s3 ведро (как пакетный процесс). До сих пор я дошел до этого места. 

from("kafka:{{kafka-s3.configure.Producer}}?brokers={{kafka-s3.configure.brokers}}&groupId={{kafka-s3.configure.groupId}}")
    .removeHeaders(".*")
    .process(new Processor() {
        @Override
        public void process(Exchange exchange) throws Exception {
            //some logic
        }
    })
    .to("aws-s3://{{awsS3BucketName}}"
        + "?deleteAfterWrite=false&region=eu-west-1"
        + "&accessKey={{awsAccessKey}}"
        + "&secretKey=RAW({{awsAccessKeySecret}})")
    .log("done.");

До сих пор я был в состоянии создать это, я не могу пакетировать сообщения обработки в верблюде. что мне не хватает?

...