SQL: быстрый кумулятивный запрос частоты (postgres) - PullRequest
Новая
       36

SQL: быстрый кумулятивный запрос частоты (postgres)

1 голос
/ 12 января 2011

Я хочу получить данные о накопленной частоте из нашей базы данных. Я создал простую временную таблицу со всеми уникальными подсчетами обновлений статуса, которые мы видели, и количеством пользователей, которые имеют такое количество обновлений статуса. 

     Table "pg_temp_4.statuses_count_tmp"
     Column     |  Type   | Modifiers 
----------------+---------+-----------
 statuses_count | integer | 
 frequency      | bigint  | 
Indexes:
    "statuses_count_idx" UNIQUE, btree (statuses_count)

Мой текущий запрос: 

select statuses_count, frequency/(select * from total_statuses)::float, (select sum(frequency)/(select * from total_statuses)::float AS percentage from statuses_count_tmp WHERE statuses_count <= SCT.statuses_count) AS cumulative_percent  FROM statuses_count_tmp AS SCT ORDER BY statuses_count DESC;

Но это занимает довольно много времени, и количество запросов растет довольно быстро. Итак, с ~ 50 000 строк, которые у меня есть, я смотрю 50k факторных строк для чтения. Сидя здесь и наблюдая за тем, как прослеживается вопрос, я надеюсь, что есть лучшее решение, которое я пока не нашел.

Надеясь получить что-то вроде этого: 

0       0.26975161      0.26975161
1       0.15306534      0.42281695
2       0.05513516      0.47795211
3       0.03050646      0.50845857
4       0.02064444      0.52910301

1 Ответ

2 голосов
/ 12 января 2011

Должно быть решаемо с помощью оконных функций, при условии, что у вас PostgreSQL 8.4 или новее.Я предполагаю, что total_statuses является представлением или временной таблицей в соответствии с select sum(frequency) from statuses_count_tmp?Я написал это как CTE, что должно заставить его вычислять результат только один раз за время выполнения инструкции: 

with total_statuses as (select sum(frequency) from statuses_count_tmp)
select statuses_count,
       frequency / (select * from total_statuses) as frequency,
       sum(frequency) over(order by statuses_count)
           / (select * from total_statuses) as cumulative_frequency
from statuses_count_tmp

Без оконных функций 8.4 лучше всего просто итеративно обрабатывать данные: 

create type cumulative_sum_type as ( statuses_count int, frequency numeric, cumulative_frequency numeric );
create or replace function cumulative_sum() returns setof cumulative_sum_type strict stable language plpgsql as $$
declare
  running_total bigint := 0;
  total bigint;
  data_in record;
  data_out cumulative_sum_type;
begin
  select sum(frequency) into total from statuses_count_tmp;
  for data_in in select statuses_count, frequency from statuses_count_tmp order by statuses_count
  loop
    data_out.statuses_count := data_in.statuses_count;
    running_total := running_total + data_in.frequency;
    data_out.frequency = data_in.frequency::numeric / total;
    data_out.cumulative_frequency = running_total::numeric / total;
    return next data_out;
  end loop;
end;
$$;
select * from cumulative_sum();
...