потоковая передача данных из оракула с кафкой - PullRequest
Новая
       57

потоковая передача данных из оракула с кафкой

0 голосов
/ 08 июля 2019

Я начинаю с kafka и мне нужно контролировать вставки в конкретную таблицу Oracle, отправлять новые записи через kafka в данный момент. У меня нет контроля над базой данных, поэтому, в принципе, Debizium исключен. Как я могу это сделать? Без использования триггеров.

Я заставил продюсера читать данные из Oracle с помощью java-программы в eclipse, но она бы постоянно обращалась к базе данных. Я использую Java для имитации ETL с потребителем.

PS: я работаю с Windows, но это вторично.

1 Ответ

0 голосов
/ 09 июля 2019

Если я правильно понимаю вашу проблему, вы пытаетесь направить вставки из Kafka в Oracle Database. Возможностей может быть немного:

  1. Вы внедрите потребителя Kafka, и как только ваш кластер kafka получит сообщение, потребитель вставит его. Вы можете повторно использовать свой код Java здесь - просто удалите часть опроса. Пожалуйста, посетите здесь
  2. Если вы развернули kafka в облачной среде и используете его в качестве службы (aws msk), у вас будет возможность обрабатывать события. Опять же, вы можете использовать Java-программу или написать скрипт Python для вставки. Пожалуйста, посетите здесь
  3. Я хотел бы понять ваши требования к пропускной способности, действительно ли вам нужна kafka в качестве распределенной системы обмена сообщениями, или просто aws sqs будет работать просто отлично. Если вы можете использовать sqs, все будет просто для вас. Вы создаете очередь и пишете слушатель в
    Python или Java

boto3 - отличная библиотека Python для работы с sqs

...