Я правильно использую Кафку?

Question

Я установил Kafka " kafka_2.12-0.11.0.0 ".

Запущены службы как zookeper , так и Кафка-сервер .

Затем я создал java-проект (включая kafka lib) на IntelliJ.

Я также включил банку SQLite, необходимую для JDBC-соединения.

Я изначально думал об использованииconfluent.kafka-connect, но поскольку у меня машина на базе Windows, CLIplatform не работает.

Поэтому я написал отдельную Java-программу для подключения к моей sqlite DB, извлекшую данные и отправленнуюэто как сообщение с использованием специальной программы Kafka-Producer, создающей тему «connect-test».

Я получил те же данные с помощью специальной программы Kafka-Consumer.Цель этого теста - выяснить, могу ли я сделать то же самое с существующим корпоративным приложением на базе Windows для потоковой передачи данных в хранилище для платформ Data Analytics.Я понимаю, что я сделал это в автономном режиме, но я в правильном направлении?

Не могли бы вы подсказать, есть ли лучший способ для меня интегрировать мое корпоративное приложение (на основе Java)?Пользовательский API + Oracle Oracle + еще один слой поверх Oracle DB) с Kafka?

Буду очень признателен за вашу помощь.

Answer 1

Kafka Connect является частью Apache Kafka и является рекомендуемым способом интеграции с другими системами, включая базы данных. В этой статье объясняются конкретные варианты интеграции с Oracle, а в этом докладе показывает его в действии.

, поскольку у меня машина на базе Windows, CLIplatform не работает.

Kafka Connect должен работать в Windows.Я не уверен, что вы подразумеваете под CLIplatform, поскольку он основан на Java, он должен работать в Windows, и если нет, то есть образы Docker, которые вы можете использовать.

Отказ от ответственности: я работаю на Confluent и написал вышеупомянутые статьи, связанные с