Есть ли способ подключиться к нескольким базам данных на нескольких хостах с помощью Kafka Connect?

Question

Мне нужно получить данные из базы данных Informix с помощью Kafka Connect.Сценарий такой: у меня 50 баз данных Informix, расположенных на 50 хостах.Читая из Kafka Connect, я понял, что нам нужно установить Kafka Connect на каждом хосте, чтобы получать данные из базы данных, находящейся на этом хосте.У меня такой вопрос: есть ли способ, которым я могу централизованно создавать соединители для этих 50 хостов вместо установки на каждом из них и извлечения данных из баз данных?

Answer 1

Вам не требуется установка дополнительного программного обеспечения в системе, где работает сервер Informix. Я не до конца понимаю вопрос или тип операции, которую вы планируете выполнить.Если вы планируете настроить тип сценария репликации в реальном времени, вам, возможно, придется вызвать CDC API.Затем необходимо выполнить однократную настройку API-интерфейса CDC на сервере, после чего эти API-интерфейсы могут быть вызваны с использованием любого API-интерфейса драйвера базы данных Informix.Если вы планируете читать существующие данные из таблиц и переходить к теме Kafka, то нет необходимости в какой-либо дополнительной настройке на стороне сервера.Вы можете подключиться ко всем 50 серверам баз данных из одной программы (удаленно), а затем перекачать эти записи в раздел (ы) Kafka.В зависимости от используемого языка программы вы можете выбрать драйвер базы данных Informix.

Answer 2

Kafka Connect JDBC не должен работать в базе данных, как это делают другие клиенты JDBC, поэтому вы можете иметь кластер Kafka Connect, который будет больше или меньше вашего пула базы данных.

Похоже, что в Informix есть механизм CDC Replication Engine для Kafka, на который стоит обратить внимание, так как в целом CDC вызывает меньшую нагрузку на базу данных