Как я могу улучшить объем данных, запрашиваемых с помощью секционированной + кластерной таблицы? - PullRequest
Новая
       51

Как я могу улучшить объем данных, запрашиваемых с помощью секционированной + кластерной таблицы?

1 голос
/ 30 сентября 2019

У меня есть таблица BigQuery - разделенная на день и кластеризованная. Тем не менее, он все еще использует много данных, когда я запускаю запросы к нему. Как это возможно?

1 Ответ

1 голос
/ 30 сентября 2019

Иногда никакие разделы, или еженедельные / ежемесячные / ежегодные разделы не будут работать лучше, чем ежедневная разделенная таблица + кластеризация.

Это потому, что каждый кластер данных в BigQuery имеет минимальный размер. Если каждый день данных в ежедневной многораздельной таблице содержит меньше этого количества данных, вы не увидите никаких преимуществ от кластеризации вашей таблицы.

Например, давайте создадим таблицу с 30+ годамиПогода. Я разделю эту таблицу по месяцам (чтобы уместить несколько лет в одну таблицу): 

CREATE TABLE `temp.gsod_partitioned`
PARTITION BY date_month
CLUSTER BY name
AS 
SELECT *, DATE_TRUNC(date, MONTH) date_month
FROM `fh-bigquery.weather_gsod.all`

Теперь давайте запустим запрос по ней - используя поле кластеризации name: 

SELECT name, state, ARRAY_AGG(STRUCT(date,temp) ORDER BY temp DESC LIMIT 5) top_hot, MAX(date) active_until
FROM `temp.gsod_partitioned`
WHERE name LIKE 'SAN FRANC%'
AND date > '1980-01-01'
GROUP BY 1,2
ORDER BY active_until DESC 
# (2.3 sec elapsed, 3.1 GB processed)

Теперь давайте сделаем это по идентичной таблице - разделенной на фиктивную дату (так что на самом деле нет разделения) и кластеризованной в том же столбце: 

SELECT name, state, ARRAY_AGG(STRUCT(date,temp) ORDER BY temp DESC LIMIT 5) top_hot, MAX(date) active_until
FROM `fh-bigquery.weather_gsod.all` 
WHERE name LIKE 'SAN FRANC%'
AND date > '1980-01-01'
GROUP BY 1,2
ORDER BY active_until DESC
# (1.5 sec elapsed, 62.8 MB processed)

Только 62,8 МБ данных (против 3,1 ГБ)были обработаны!

Это потому, что кластеризация без разделов намного более эффективна для таблиц, у которых не много ГБ в день.

Бонус: кластеризация по гео: 

SELECT name, state, ARRAY_AGG(STRUCT(date,temp) ORDER BY temp DESC LIMIT 5) top_hot, MAX(date) active_until  
FROM `fh-bigquery.weather_gsod.all_geoclustered`  
WHERE date > '1980-01-01'
AND ST_DISTANCE(point_gis, ST_GEOGPOINT(-122.465, 37.807)) < 40000
GROUP BY 1,2
ORDER BY ST_DISTANCE(ANY_VALUE(point_gis), ST_GEOGPOINT(-122.465, 37.807))
# (2.1 sec elapsed, 100.7 MB processed)
...