Я оцениваю требование переместить тестовые данные из локальной настройки kafka в kafka в облаке Google. что означает объединение обоих. Я планирую использовать следующий подход для создания конвейера. Пожалуйста, дайте мне знать ваши мысли, если я направляюсь в правильном направлении.
Я установлю kafka локально на моем рабочем столе и создам тему под названием TopicA. Я тогда планирую выдавать сообщения на эту кафку в тему TopicA. Потребитель этой темы A будет выбирать эти сообщения последовательно и подключаться к теме GCP-кафки под названием TopicB и начинать публиковать сообщения в gcp TopicB. Наконец, потребитель GCP TopicB будет использовать эти сообщения, завершая созданный конвейер и проверяя эти сообщения.
Чтобы обновить, я не имею большого представления о том, что GCP нужно исследовать. Любые идеи или указатели на любую кодовую базу / docs / SO приветствуются. Заранее спасибо.