Извлечь данные из API HTTP-запроса в Google Cloud

Question

У меня есть приложение, которое отправляет мне данные из API. Данные полуструктурированы (данные json)

Я хотел бы отправить эти данные в Google Big Query для хранения всей информации.

Однако я не могу найти, как я могу сделать это правильно.

До сих пор я использовал Node JS на своем собственном сервере для получения данных с помощью запроса POST.

Не могли бы вы мне помочь? Thnak.

Answer 1

В официальной документации есть страница , в которой перечислены все возможности загрузки данных в BigQuery.

Для простоты вы можете просто отправлять данные из локального источника данных. Вы должны использовать клиентские библиотеки Google Cloud для Big Query. Здесь у вас есть руководство о том, как это сделать, а также соответствующий пример кода.

Но я искренне рекомендую отправлять данные в Google Cloud Storage и изтам, чтобы загрузить его в BigQuery . Таким образом, весь процесс будет более стабильным.

Вы можете проверить все параметры из первой ссылки, которую я разместил, и выбрать то, что, по вашему мнению, лучше всего подойдет для вашего рабочего процесса.

Имейте в виду ограничения этого процесса.

Answer 2

Вы можете использовать bigquery API для потоковых вставок.

Вы также можете записать данные в PubSub или Google Cloud Storage и использовать конвейеры потока данных для загрузки их в bigquery (вы можете использовать потоковые вставки (нести расходы). ) или пакетная загрузка (бесплатно))

Вы также можете войти в стекдрайвер, и оттуда вы можете выбирать и отправлять в bigquery (в GCP уже есть прямые опции для этого, обратите внимание, что под капотом он выполняет потоковую передачу)вставки)

Если вы чувствуете, что настройка потока данных сложна, вы можете хранить свои файлы и выполнять задания пакетной загрузки, напрямую вызывая API bigquery. Обратите внимание, что существуют ограничения на количество периодических загрузок, которые вы можете сделать за день для определенной таблицы (1000 в день)