Использование KsqlDB в качестве исторической базы данных

Question

Я хочу создать историческую базу данных, которая будет записывать и извлекать данные из тем Kafka в постоянную базу данных.

Я пытаюсь использовать KsqlDB для этого, я пытаюсь использовать таблицы и потоки из k sql но исчезает со смертью тем Кафки (продление срока хранения). Мой вопрос: «Можно ли использовать ksqldb в качестве историка для Кафки?» Спасибо.

Answer 1

Данные Kafka, безусловно, могут быть постоянными (log.retention.ms = -1 или cleanup.policy = compact), хотя для этого не требуется ksqlDB. По умолчанию таблица должна быть доступна на неопределенный срок, так как она будет поддерживаться компактной версией Kafka c

. К счастью, New York Times хранит все свои статьи в односекционированной секции Kafka topi c, чтобы отсортировать их статей по времени.

Обратите внимание, что ksqlDB - это механизм обработки, созданный на Kafka Streams. Это не база данных.