Ограничить количество записей, которые BigQuery требуется для сканирования по любому заданному запросу?

Question

Я загрузил несколько больших таблиц в BigQuery и могу выполнять запросы к ним. Я успешно сократил расходы по горизонтали, отсканировав только определенные необходимые столбцы, а не SELECT *

. Существуют ли способы ограничения сканируемых данных по вертикали . Я вижу, что использование LIMIT не поможет :

Применение предложения LIMIT к запросу SELECT * не влияет на количество прочитанных данных. Вам выставлен счет за чтение всех байтов во всей таблице

Существуют ли другие способы сокращения количества проверок, выполненных BigQuery для данного запроса? Возможно, путем загрузки (и правильного присвоения имен) множества таблиц меньшего размера, а не одной большой, или посредством специального SQL BigQuery?

Если это уместно, мои файлы в паркетном формате.

Answer 1

Проверьте разбиение и кластеризацию в BigQuery.

https://cloud.google.com/bigquery/docs/partitioned-tables

https://cloud.google.com/bigquery/docs/clustered-tables (также хорошо работает в сокращении затрат с LIMIT)

Answer 2

Я думаю, что это будет полезно.

Две основные операции - уменьшить количество сканируемых строк и уменьшить количество сканируемых столбцов.

Чтобы уменьшить количество строк, очевидным способом являетсяиспользуя LIMIT. Если вы не можете уменьшить количество строк с помощью LIMIT, другой подход заключается в рассмотрении определенного шаблона в наборе данных. Например, если у вас есть столбец даты, использующий оператор BETWEEN для выбора только требуемых данных.

Другой способ - поместить ваши данные в отдельные таблицы. Это ограничит объем обрабатываемых данных. Но когда дело доходит до запросов к вашим таблицам, это будет немного сложнее