Как отправить сообщение из Google Cloud pubsub (gcp) в тему удаленно запущенного Kafka

Question

Нужна помощь, чтобы получить некоторую помощь для публикации всего сообщения из GCP (Google Cloud Pubsub) в удаленно работающей теме Kafka

Я использовал код соединителя из "https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76" и смог переместить данные из темы GCP в Kafka. Kafka и соединитель работают на одном компьютере, теперь мне нужно просто иметь код соединителя и добавьте сообщения из PubSub в удаленно работающую тему Kafka

Answer 1

Копирование сообщений из Google Cloud Pub / Sub в тему Kafka, работающую удаленно, не должно сильно отличаться от того, как если бы все было в GCP. Есть два варианта:

1. Запустите Kafka connect с вашим развертыванием Kafka. В этом случае вы должны убедиться, что машины, на которых работает Kafka, имеют разрешение на отправку исходящих запросов в Google Cloud через порт 443.
2. Запустите Kafka на GCP (скорее всего, в GCE). Вам нужно будет установить свойство bootstrap.servers в конфигурации Kafka connect для списка серверов, на которых работает Kafka. Это означает, что эти серверы должны быть общедоступными и разрешать входящие соединения.