Потоковая передача данных CSV с использованием kafka connect

Question

У нас есть бизнес-мероприятие в формате файла CSV, которое нужно добавить в базу данных (в нашем случае - снежинка) с помощью Kafka.

Нужно ли нам преобразовывать файл csv в формат JSON (используя python), а затем передавать значения в топи-производителя kafka c?

Answer 1

Используйте Kafka Connect .

1. Чтение из файла CSV в Kafka с помощью коннектора, такого как Kafka Connect spooldir (см. пример )
2. Stream from Kafka topi c в Snowflake с помощью коннектора Snowflake для Kafka Connect (см. пример )

Подробнее о Kafka Connect см. в этом разговоре .