Перенос тем, ACL и сообщений от apache kafka на платформу слияния - PullRequest
0 голосов
/ 05 октября 2018

Мы переносим наше приложение из Apache Kafka на платформу Confluent.

  • Версия Apache Kafka: 1.1.0
  • Конфлюент: 4.1.0

Попробовал следующие параметры:

  1. Ручное копирование журналов zookeeper и Kafka - не оптимальный способ из-за объема и правильности данных.
  2. Mirror Maker - Это будет копировать вновь созданные темы иACL.Он не перенесет старые детали в Apache Kafka

Пожалуйста, предложите лучшие подходы к этому.

1 Ответ

0 голосов
/ 05 октября 2018

Вы можете сохранить существующую установку Kafka и Zookeeper.

Confluent не изменяет способ запуска или управления данными.

Вы можете настроить REST Proxy, Schema Registry, Control Center, KSQL и т. Д. Для использования существующих серверов начальной загрузки или соединения Zookeeper;ничего не нужно переносить, вы только добавляете дополнительные услуги для потребителей / производителей, которые оказываются Confluent.

Если позднее вы планируете обновить своих брокеров, вы можете запускать новые из пакета Confluent., перенести разделы, затем закрыть старые.То же самое для Zookeeper, но убедитесь, что у вас есть как минимум 2 в течение этого процесса, и всегда иметь нечетное количество их доступных после вашего перехода

...