Чтение файла CSV в режиме реального времени с помощью Kafka Connect

Question

как я могу интегрировать Kafka Connect с производителем Kafka в Java, чтобы я мог читать файл CSV в режиме реального времени?Мне трудно найти какой-либо источник, связанный с этим.

Сейчас я использую scala-ide для запуска простого класса-производителя Kafka, но не знаю, как его использовать с Kafka connect.

Answer 1

Соединитель Kafka Connect для чтения CSV-файлов уже существует: https://github.com/jcustenborder/kafka-connect-spooldir.

Юо может увидеть пример этого в действии здесь: https://www.confluent.io/blog/ksql-in-action-enriching-csv-events-with-data-from-rdbms-into-AWS/

---

Отказ от ответственности: я написал вышеупомянутую статью и работаю на Confluent, чей блог был опубликован

Answer 2

Просто еще один плагин Kafka Connect для чтения CSV-файлов: https://github.com/streamthoughts/kafka-connect-file-pulse

Надеюсь, что этот проект может помочь людям, которые ищут подобное решение.

---

Отказ от ответственности: я один из участников этого проекта

Answer 3

Kafka Connect уже имеет производителя , встроенного .Вам просто нужно использовать правильный плагин разъема.Для чтения файла CSV должен работать коннектор FileStreamSource, который является частью Kafka.Вы можете запустить Kafka Connect, вероятно, в автономном режиме (см. Kafka docs ) и настроить разъем.Примеры конфигурационных файлов , которые являются частью Kafka, должны помочь вам начать работу.