Kafka Connect AWS Лямбда Раковина

Question

Как работает этот плагин-коннектор? Kafka Connect AWS Lambda Sink

В docker-compose.yml файл, в котором находятся изображения докеров zookeeper, kafka & kafka-подключиться из confluentinc репозитория.

Можем ли мы использовать этот плагин только для подключения aws-лямбды в качестве потребителя kafka с кластером kafka, развернутым отдельно на экземплярах ec2.

Можем ли мы потреблятьэтот плагин разъема без использования kafka connect?

Answer 1

Вы можете использовать плагин с отдельно развернутым кластером Kafka.Либо разверните jar-файл коннектора в кластере Kafka Connect, либо запустите контейнер Kafka Connect в Docker и разверните там лямбда-коннектор.Вам просто нужно изменить конфигурацию docker-compose.yml Kafka Connect, чтобы она указывала на ваш кластер Kafka.Потенциально лучший пример есть в репозитории github.com/llofberg/kafka-connect-rest.

Отказ от ответственности: я написал разъем.

Answer 2

Можем ли мы использовать этот плагин коннектора без использования kafka connect?

Нет.Соединители Kafka Connect работают на Kafka Connect.

Но Kafka Connect является частью Apache Kafka и предоставляет вам среду выполнения, которая обрабатывает такие вещи, как сбой узла, масштабирование, централизованное конфигурирование и управление, так что на самом деле это хорошая вещь для использования.С точки зрения пользователя, это «просто» файлы конфигурации, которые вам нужно написать, чтобы использовать его.

Подробнее о Kafka Connect можно прочитать здесь

---

Отказ от ответственности: я работаю на Confluent.