затраты на экспорт данных BigQuery - PullRequest
0 голосов
/ 25 сентября 2019

Я работаю над проектом, который состоит из получения данных в BigQuery, выполнения некоторых агрегатов и экспорта их в Qlik Sense для создания панелей мониторинга.Я все еще на стадии исследования, имея всего несколько гигабайт данных, но я хочу подсчитать, сколько я буду платить за экспорт данных из BigQuery на внешнюю платформу на этапе производства.Когда я передаю данные из хранилищ облачного хранилища (откуда они поступают) в BigQuery, происходит сжатие данных, то есть таблицы в bigQuery занимают меньше места, чем в хранилищах облачного хранилища.Таким образом, мой вопрос заключается в следующем: когда я затем экспортирую данные из BigQuery во внешнюю платформу, какой объем трафика будет учитываться?Исходный размер данных (до сжатия) или размер (сжатый), который они имеют на bigQuery?Будет ли выходной (экспортный) объем зависеть от формата, который Qlik использует для экспорта данных?Если да, какой формат использует Qlik для экспорта данных?

1 Ответ

0 голосов
/ 25 сентября 2019

Если вы следуете BigQuery Exporting Data и экспортируете данные таблицы BigQuery в GCS.Сам экспорт осуществляется бесплатно.

Несмотря на то, что экспорт бесплатный, он ограничен 10 ТБ данных в день на проект.Рекомендуется использовать Storage API , если экспорт квоты вам не подходит.

В случае, если вы пытаетесь использовать Qlik / BigQuery соединитель .Я заметил, что максимальный размер ответа - 128 МБ, возможно, он не сможет экспортировать несколько ГБ данных для вас.Из документации модель ценообразования на стороне BigQuery проста, поскольку коннектор просто помещает запрос и читает ответ:

  • Стоимость запроса: см. Расценка запроса BigQuery , чтов зависимости от размера таблицы, которую сканировал запрос
  • Стоимость перевода: бесплатно
...