Google Cloud - Как получить данные из удаленного PubSub в качестве входных данных для Apache Beam Pipeline, выполняемых локально?

Question

Я настроил локальную (java) среду для запуска Apache Beam Pipeline, следуя официальному doc .

Пример проекта (WordCount) работает отлично, но теперь я хотел бы изменить его, получить входные данные из темы PubSub и поместить вывод в BigQuery.

Я уже создал свою тему PubSub и мой набор данных BigQuery, но мой вопрос: как я могу настроить REMOTE ввод (тема pubsub) и вывод (BigQuery) для локально работающего конвейера (для отладки) назначения)

Answer 1

См. Классы PubsubIO / PubsubClient (или com.google.cloud.pubsub.v1 ).

Для удаленного доступа вам, скорее всего, нужно зарегистрировать внешний IP.