Отправить данные из Rest API To kafka

Question

Я только начал изучать Kafka и пытаюсь создать прототип, чтобы иметь производителя, который является REST API, и отправлять данные потребителю Kafka. Я прошел довольно много документации, чтобы выяснить какую-то конкретную процедуру.

Я не смог понять, есть ли один разъем, который я мог бы просто использовать, как файловый разъем или разъемы JDB C, предусмотренные для Apache Kafka. Должен ли я написать собственный разъем для этого?

Я не совсем понимаю, с чего начать. Я особенно ищу структурированную документацию или идею о том, как это сделать.

Answer 1

Похоже, вы говорите о функциональности, которая уже существует в REST Proxy . Это обеспечивает REST API для создания данных в Kafka или использования данных из Kafka.

---

Редактировать : Из вашего комментария я понимаю, что ваш вопрос отличается. Если вы хотите получить данные из конечной точки REST в Kafka, вы можете использовать Kafka Connect и плагин kafka-connect-rest . Вот пример его использования здесь .

Answer 2

Нет необходимости писать соединитель (кроме того, это невозможно с python). Один уже существует для HTTP.

https://github.com/llofberg/kafka-connect-rest