Confluent Kafka Резервное копирование и восстановление - PullRequest
Новая
       7

Confluent Kafka Резервное копирование и восстановление

0 голосов
/ 28 сентября 2018

Есть ли в Kafka процедура для резервного копирования данных брокера Kafka?
Как работает резервное копирование и восстановление в Kafka?

Примечание. Один из способов - создать другой DC и настроить репликацию между DC.

Но есть ли другой способ сделать резервную копию данных?

Спасибо!

1 Ответ

0 голосов
/ 28 сентября 2018

Один из подходов, который я бы порекомендовал, - это непрерывное резервное копирование данных Kafka в HDFS .Для этого вы можете применить Confluent HDFS-Sink разъем.Вы можете хранить свои записи в формате Avro или Parquet.

С другой стороны, использование HDFS в качестве источника данных позволяет воспроизводить все ваши записи в Kafka.

[1] Confluent HDFS-Sink: https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html

...