Как оптимизировать байты Google Big Query

Question

Я недавно обнаружил Google Big Query и его открытые наборы данных.После выполнения следующего запроса к таблице 311_service requests в наборе данных new_york облачная консоль сообщает, что bytes billed равно 130 MB.

SQL-запрос:

SELECT unique_key FROM `bigquery-public-data.new_york.311_service_requests` LIMIT 10

Возврат запроса:

+------+-------------+
| Rows | unique_key  |
+------+-------------+
| 1    | 37911459    |
| 2    | 38162601    |
| 3    | 32560181    |
| 4    | 38259076    |
| 5    | 36034528    |
| 6    | 36975822    |
| 7    | 38028455    |
| 8    | 37993135    |
| 9    | 37988664    |
| 10   | 35382611    |
+------+-------------+

Для запроса, возвращающего такой небольшой объем данных, почему выставленные байты оценены в 130 МБ?

Есть ли способ оптимизировать это?Должны ли результаты запроса храниться в другой базе данных для последующего поиска?

Answer 1

почему байты выставлены на оценку в 130 МБ?

Цена запроса относится к стоимости выполнения ваших команд SQL и пользовательских функций.BigQuery взимает плату за запросы, используя одну метрику: количество обработанных байтов (также называемое прочитанными байтами).Вы платите за количество обработанных байтов, независимо от того, хранятся ли данные в BigQuery или во внешнем источнике данных, таком как облачное хранилище, Google Drive или Cloud Bigtable.

Когда вы выполняете запрос, с вас взимается плата.в соответствии с общими данными, обработанными в выбранных вами столбцах, даже если вы установили явный LIMIT для результатов.Общее количество байтов на столбец рассчитывается на основе типов данных в столбце.Для получения дополнительной информации о том, как мы рассчитываем ваш размер данных, см. Расчет размера данных.

Ценообразование для запроса основано на модели использования: ежемесячная фиксированная ставка для запросов или оценка на основе интерактивных запросов.Корпоративные клиенты обычно предпочитают фиксированную цену для запросов, потому что эта модель предлагает постоянные ежемесячные затраты.Ценообразование по требованию (или в интерактивном режиме) обеспечивает гибкость и основывается исключительно на использовании.

Вы можете увидеть больше на https://cloud.google.com/bigquery/pricing

Итак, в вашем случае 130 МБ - это размер соответствующего unique_key столбца

Еслирезультаты запроса будут сохранены в другой базе данных для последующего поиска?

уверен, что Вы можете сделать это, чтобы управлять стоимостью последовательной обработки этих небольших данных без касания исходных
Имейте в виду - это вызовет стоимость хранения для вас - см. Вышессылка для деталей