Есть ли способ, которым я могу определить функцию для определения пути S3 на основе сообщения темы в kafka connect

Question

Этот вопрос относится к Кафке для S3.

Требование: Одна из интересующих нас тем Кафки содержит некоторую конкретную информацию, например, отметку времени, таблицу и т. Д. Мы можем использоватьэти данные, чтобы решить, по какому пути S3 он будет идти, то есть s3bucketName/timestamp/table/...

Проблема: Мы думаем использовать kafka connect, поскольку нет причин заново изобретать колесо.Однако я не смог найти способ подключить sort of function для сопоставления (из данных темы в путь S3) в kafka connect (за которым следует ссылка https://docs.confluent.io/current/connect/kafka-connect-s3/configuration_options.html). Интересно, обеспечивает ли kafka connect?эта функция, если нет, кто-то еще делал это раньше?

Answer 1

Поведение TimestampPartitioner по умолчанию записывает в

s3bucketName/s3Prefix/topicName/timestamp/files.avro

Если это неудовлетворительно, Kafka Connect полностью управляется плагином, и вы можете написать свой собственный.Например, нет разделителя, который поместил бы в данные как временную метку, так и определенное поле - вам нужно было бы написать это отдельно