Потоковая передача данных с кафки на http

Question

Я пытаюсь создать масштабируемый конвейер, который будет получать сообщения от Kafka и отправлять их на несколько конечных точек http.

То, что я до сих пор пробовал, - это (обычный Kafka) потребитель, который потребляет сообщения из темы Kafka и асинхронно отправляет их в конечную точку с помощью Akka-Http.Итак, у меня есть что-то вроде Kafka-Connector.

Вопрос: стоит (и возможно) переписать приложение как Kafka-Connector, учитывая, что назначение сообщений не является статичным и может изменяться длякаждое сообщение.

Answer 1

не является статичным и может варьироваться для каждого сообщения

Нет причин, по которым вы не можете попробовать написать SinkTask , который будет анализировать и маршрутизировать SinkRecord объект в различных HTTP-маршрутах.

Единственное преимущество, которое вы можете получить, - это абстрагирование простого API KafkaConsumer

Возможно, используйте kafka-connect-rest в качественачальная точка

Answer 2

На мой взгляд, ответ - нет.Помимо упомянутой проблемы назначения, форматирование и отображение сообщений зависит от конкретного приложения и не может быть делегировано общему назначенному соединителю.