Облачный поток данных: смена места назначения больших запросов на лету

Question

Я использую конвейер DataFlow для потоковой передачи данных с устройств iot (через подписку PubSub) в BigQuery. Я ищу способ динамически направлять данные с данного устройства в набор данных BigQuery, который я могу указать на лету. Вот типичная ситуация: пользователь решает: «Я хочу начать потоковую передачу данных с iot-устройства A в BigQuery Dataset 5», а затем решает: «Теперь я хочу начать потоковую передачу данных с iot-устройства A в BigQuery Dataset 7.»

Я ищу способ сделать это без обновления конфигурации устройства или перезапуска задания потока данных. Это возможно? Если нет, как лучше это сделать?

Answer 1

Это должно быть возможно при использовании DynamicDestinations. Это позволяет вам определять для каждого элемента, где он должен быть сохранен. Если вы не можете напрямую вывести набор данных BigQuery на основе элемента, который хотите сохранить, вы можете либо присоединить его к конфигурации устройства, либо создать какой-либо механизм поиска в вашей реализации DynamicDestinations.

Пожалуйста, посмотрите на документы, где также приведен пример. https://beam.apache.org/releases/javadoc/2.13.0/org/apache/beam/sdk/io/gcp/bigquery/DynamicDestinations.html