Данные раздела KAFKA ежедневно получают данные

Question

Возможно ли в Кафке ежедневно архивировать данные в какой-либо каталог?
Также дайте мне знать, возможно ли создать раздел на ежедневной основе.

Answer 1

Вы можете использовать Kafka Connect с классом DailyPartitioner в коннекторах Confluent для резервного копирования данных раздела в HDFS или S3

Есть также коннекторы FileSink для локального диска из коробки с Kafka, но вам может потребоваться реализовать сам разделитель