Как создать раздел с помощью FieldPartitioner из Kafka S3 Sink Connector - PullRequest
0 голосов
/ 19 февраля 2020

Я ищу правильный формат , который будет применен к s3-sink.properties для коннектора раковины Kafka S3, с использованием partition.class FieldPartitioner . Мне нужно создать 3 раздела (один подраздел другого, например field1 = value / field2 = value / field3 = value ) на основе имен полей из моего сообщения kafka.

Мне действительно нужен пример использования partition.field.name . Он получает список , но я пока не могу найти пример.

Это то, что у меня есть и что мне нужно:

storage.class=io.confluent.connect.s3.storage.S3Storage
format.class=io.confluent.connect.s3.format.parquet.ParquetFormat
schema.generator.class=io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator
schema.compatibility=NONE
partitioner.class=io.confluent.connect.storage.partitioner.FieldPartitioner
partition.field.name=fieldName #Wrong so far, it can't even find my first one with this format. And I need two more, like: partition.field.name=field1,field2,field3

Спасибо .

1 Ответ

0 голосов
/ 25 февраля 2020

Получает список

Это список CSV (как и bootstrap.servers) из верхнего уровня имен полей.

И ваши данные должны быть Struct (Avro или JSON с schema.enabled=true)

Примеры можно найти в модульных тестах - https://github.com/confluentinc/kafka-connect-storage-common/blob/v5.3.2/partitioner/src/test/java/io/confluent/connect/storage/partitioner/FieldPartitionerTest.java#L140

...