Как реализовать kafka-connect, используя apache-kaka вместо слияния

Question

Я бы хотел использовать версию kafka-connect с открытым исходным кодом вместо слитной, так как кажется, что слияния cli не для производства, а только для dev.Я хотел бы иметь возможность слушать изменения в базе данных mysql на aws ec2.Может кто-нибудь направить меня в правильном направлении.

Answer 1

Kafka Connect является частью Apache Kafka . Период. Если вы хотите использовать Kafka Connect, вы можете сделать это с любым современным дистрибутивом Apache Kafka.

Затем вам понадобится подключаемый модуль для подключения к Kafka Connect, соответствующий вашей исходной технологии. Для интеграции с базой данных существует различных соображений , и для MySQL доступно следующее:

• Kafka Connect JDBC - увидеть его в действии здесь
• Дебезий - посмотрите его в действии здесь

Confluent CLI - это всего лишь инструмент, помогающий управлять и развертывать Confluent Platform на компьютерах разработчиков. Платформа Confluent сама по себе широко используется в производстве.