Google Cloud Pub / подписка на тему шаблона BigQuery

Question

При создании нового шаблона Dataflow Pub / Sub to BigQuery можно указать PubSub topic.Похоже, что нет способа предоставить существующий PubSub subscription, вместо этого шаблон Dataflow создает новую подписку при каждом запуске.

Насколько я понимаю модель PubSub, единственный способ убедиться, что мы продолжаемчтение данных из того же места в теме означает повторное использование одной и той же подписки, и здесь, похоже, такой опции нет.

Что произойдет, если пользователь захочет повторно развернуть такой шаблон потока данных?Собираемся ли мы потерять все данные между развертываниями?

Answer 1

Вы правы, предоставленный Google шаблон Pub / Sub to BigQuery не поддерживает передачу подписки в качестве параметра ( здесь - более старый ответ, подтверждающий это гуглером).Однако, это должно быть легко отредактировать это так, чтобы это сделало так.Вам нужно только заменить getInputTopic на getSubscription эквивалент.В свою очередь, это должно быть передано методу PubsubIO.readMessagesWithAttributes().fromSubscription (options.getSubscription()) (см. здесь ) вместо fromTopic.После создания нового конвейера вам нужно будет создать и подготовить шаблон .

.