Можно ли доставлять данные из облака на локальный компьютер, используя только API-интерфейс Kafka Connectors?

Question

Я хочу передать данные из облачного приложения, которое будет публиковать журналы в разделах Kafka с использованием производителей, а затем отправлять эти данные в HBase on-prem . Я сомневаюсь, что HBase Connector Sink поддерживает отправку данных непосредственно в мою локальную среду без установки на нее Kafka .

Answer 1

Kafka Connect - это отдельный процесс от брокера Kafka. Вы вообще не установили бы это на той же самой машине, независимо. Вам понадобится где-то кластер Kafka, но будь то локально или в облаке, с соответствующей конфигурацией безопасности (брандмауэры и т. Д.), Ваш работник Kafka Connect сможет подключиться к брокеру Kafka, а также к вашему экземпляру HBase.