Google Bigquery подходит для вставки данных с устройств IoT? - PullRequest
0 голосов
/ 31 мая 2018

Я работаю в стартап-компании, где мы будем продавать устройства IoT.эти устройства будут подключены к нашему серверу, расположенному в облаке Google, и будут отправлять данные каждую 1 секунду, где мой сервер будет хранить их в базе данных в виде временных рядов.Допустим, у нас подключено 1000 устройств, и все они отправляют свои данные каждую секунду. Можно ли использовать Google BigQuery для вставки этих данных в таблицу каждую секунду для каждого устройства в соответствующую ему таблицу владельцу устройства?

Поскольку мои данные представлены в виде временных рядов, я думаю об использовании секционированной таблицы для каждого пользователя (владельца моего устройства), но с ограничениями и квотами, перечисленными в официальной документации, я беспокоюсь о достижении лимита при моем большом количествевставляет каждую секунду (не говоря уже о том, что я буду запрашивать данные в зависимости от потребностей пользователя в моем телефонном приложении).

, если это не подходит, что подойдет для моего варианта использования?

РЕДАКТИРОВАТЬ: меня больше всего беспокоит огромное количество вставок в секунду, которое может превышать пределы BigQuery или может привести к замедлению, так как это в основном для хранилища данных.BigTable кажется нам дорогостоящим, а CloudSQL кажется верным, но нас беспокоит медленное время запросов после заполнения таблицы, так как я вставляю 86400 строк на пользователя в день.

Спасибо.

1 Ответ

0 голосов
/ 31 мая 2018

Вы должны проверить CLOUD IOT CORE - полностью управляемый сервис для простого и безопасного подключения, управления и приема данных с глобально распределенных устройств

Данные устройства, полученные с помощью Cloud IoTCore публикуется в Cloud Pub / Sub для последующей аналитики.Вы можете выполнить специальный анализ с помощью Google BigQuery, легко запустить расширенную аналитику и применить машинное обучение с помощью Cloud Machine Learning Engine или визуализировать результаты данных IoT с помощью богатых отчетов и панелей мониторинга в Google Data Studio.

Проверьте также IoT Core with PubSub, Dataflow, and BigQuery

...