Как мне транслировать обновления из BigQuery?

Question

Когда данные поступают в мой BigQuery, я хочу отправить некоторые из них в другую базу данных - datamart или оперативную базу данных, которая обслуживает информационные панели в реальном времени.

Как мне это сделать?Опрос огромной таблицы BQ слишком дорогой и медленный, и я хочу, чтобы обновления были частыми - почти в режиме реального времени.

Странно, я нахожу мало информации о потоковой передаче из BigQuery.

Answer 1

Опрос огромного стола BQ слишком дорогой и медленный

Обязательно разбивайте данные по дням, а если у вас слишком много данных, группируйте их по часам.

Не существует естественного способа потоковой передачи данных из BigQuery по мере их поступления, но если вы соответствующим образом разбиваете и кластеризуете свои данные, тогда сканирование будет намного менее затратным, чем выполнение из наивной таблицы.

Для реального времени: будет ли возможность разделять данные из BigQuery и других инструментов из конвейера, а не после того, как они будут сохранены в BQ?

---

На комментарий

«Я бы не хотел, чтобы каждый из клиентов записывал две цели, BQ плюс PubSub»

Пусть каждый клиент пишет только в Pub / Sub. Затем щелкните для развертывания конвейера, который пишет в BigQuery из Pub / Sub - для наиболее надежного конвейера. Тогда другие потребители могут подписаться на ту же тему Pub / Sub, что и BigQuery.