Автономный Кафка Производитель

Question

Я думаю о создании отдельного производителя Kafka, который будет работать как демон, принимать сообщения через сокет и отправлять их надежно в Kafka.

Но я не должен думать о себе первымэта идея. Идея состоит в том, чтобы не писать производителя Kafka, например, в PHP или Node, а просто доставлять сообщения через сокет автономному демону из этих языков, который заботится о доставке, в то время как основные приложения продолжают делать свое дело.

Этот демон должен позаботиться о повторной доставке в случае перебоев и выступает в качестве точки доставки для всех программ, работающих на сервере.

Это хорошая идея, или она пишет производителям о каждом из используемыхязык общий подход? Это должно быть не так, верно?

Answer 1

Вы должны взглянуть на разъемы Kafka. Вот один из них: Источник розетки Kafka Connect

Здесь вы можете найти, как его использовать: https://www.baeldung.com/kafka-connectors-guide

Пример конфигурации connect-socket-source.properties:

name=socket-connector
connector.class=org.apache.kafka.connect.socket.SocketSourceConnector
tasks.max=1
topic=topic
schema.name=socketschema
port=12345
batch.size=100