как использовать файл json из kafka с помощью java, проанализировать его с помощью jackson и сохранить его в БД через jdbc

Question

Я написал код для приема сообщения от kafka, но я хочу увидеть пример того, как использованное сообщение kafka преобразуется в объект java с использованием jackson, а затем сохраняет его в базе данных для обработки данных.

Answer 1

Kafka Connect сделает все это за вас.Вам не нужно писать какой-либо код Java или конвертировать JSON.Используйте приемник kafka-connect-jdbc для потоковой передачи данных в базу данных и используйте JsonConverter.Вы можете узнать больше о конвертерах в Kafka Connect здесь .

Если вы хотите обработать сообщение заранее, вы можете использовать параметры потоковой обработки, такие как Kafka Streams, KSQL, Spark Streaming и т. Д. И т. Д.Затем они могут написать вторую тему Кафки.Для записи в базу данных (или в другое место) просто используйте Kafka Connect.