принимать потоковые данные из API в Bigquery в Google Cloud

Question

Я хочу принять данные из API в потоке в BigQuery.

Полагаю, что лучший вариант - использовать облачный поток данных для ввода этих данных в BigQuery, но я не знаю, как это сделать. извлечь данные из API: https://developer.tomtom.com/traffic-api

Могу ли я извлечь данные в том же конвейере потока данных, или мне нужно создать экземпляр и извлечь данные оттуда в облако PUB / SUB а затем использовать поток данных, чтобы переместить эти данные в bigquery?

Answer 1

Я предполагаю, что у вас есть API, из которого вы хотите отправить данные в BigQuery. Поскольку вы не можете напрямую передавать API, вы должны использовать интервал между пакетами, это может быть ежечасно или поминутно в зависимости от ограничений API.

У вас может быть задание на чтение данных из этого API, а также накачку в PUB / SUB и использование потока данных для передачи данных в BQ. Или вы можете использовать задание напрямую для передачи данных в BQ. это зависит от объема данных / стратегии резервного копирования и бизнес-требований.