Потоковая передача данных в BigQuery

Question

У нас есть приложение, которое будет доставлять потоковые данные, и поставщик приложения запрашивает конечную веб-точку для доступа к BigQuery для загрузки потоковых данных.Какой шаблон предпочтителен при загрузке потоковых данных?Если я хотел бы использовать pubsub-> Dataflow-> BQ, как мне настроить конечную точку сети для публикации в теме?Любые предложения приветствуются - я никогда не делал этого: D

Br Cris

Answer 1

Если данные будут храниться только в BigQuery и не предвидится никакой предварительной обработки, перейдите непосредственно с BigQuery Streaming API .Это действительно производительный 100.000 требований в секунду.

Используйте DataFlow -> BQ, когда вы хотите иметь дело с коллекциями, трансформирующими несколько приемников назначения.

В начале просто используйте BQ APi, а затем, по мере развития, вы можете в любое время перейти на подход «Поток данных -> BQ».