Создание CSV-коннектора для Kafka Connect

Question

Я планирую написать свой собственный CSV-коннектор Kafka connect, который будет считывать данные из CSV-файла и записывать их в тему. Данные должны быть записаны в тему в виде JSON.

Также наткнулся на kafka-connect-spooldir плагин слияния. Я не хочу использовать это и написать свой собственный.

Может кто-нибудь посоветовать мне, как создать соединитель для того же самого?

Answer 1

В официальной документации Kafka есть раздел по разработке Connector , так что это, вероятно, лучший первый шаг.

Kafka также поставляется с файловыми коннекторами (как Source, так и Sink). Посмотрите на код: https://github.com/apache/kafka/tree/trunk/connect/file/src/main/java/org/apache/kafka/connect/file

Не должно быть слишком сложно изменить их для вашего случая использования.

Наконец, как вы упомянули, уже есть коннекторы, которые могут читать файлы CSV и имеют открытый исходный код. Так что, если вы застряли на чем-то, вы можете проверить, как они это сделали.