Как настроить коннектор приемника kafka s3 для json, используя его поля И разделение по времени? - PullRequest
Новая
       19

Как настроить коннектор приемника kafka s3 для json, используя его поля И разделение по времени?

0 голосов
/ 07 сентября 2018

У меня появляется json, как это: 

{
    "app" : "hw",
    "content" : "hello world",
    "time" : "2018-05-06 12:53:04"
}

Я хочу нажать на S3 в следующем формате файла:

/ верхний каталог / $ jsonfield1 / $ jsonfield2 / $ Дата / $ HH

Я знаю, что могу достичь:

/ верхний каталог / $ Дата / $ HH

с TimeBasedPartitioner и Topic.dir, но как мне также ввести поля 2 json?

1 Ответ

0 голосов
/ 07 сентября 2018

Вам нужно написать свой собственный Partitioner, чтобы получить комбинацию TimeBased и Field Partitioners

Это означает, что создайте новый проект Java, посмотрите исходный код для контрольной точки , создайте JAR-файл из проекта, а затем скопируйте JAR-файл в kafka-connect-storage-common на всех серверах, работающих под управлением Kafka Connect. , который подхватывается разъемом S3. После того, как вы скопируете JAR, вам нужно будет перезагрузить процесс подключения.

Примечание: уже есть PR, который пытается добавить это - https://github.com/confluentinc/kafka-connect-storage-common/pull/73/files

...