Скользящая средняя Clickhouse - PullRequest
Новая
       10

Скользящая средняя Clickhouse

0 голосов
/ 21 ноября 2018

Ввод: Clickhouse

Таблица A business_dttm (datetime) сумма (с плавающей запятой)

Мне нужно рассчитать скользящую сумму за 15 минут (или за последние 3 записи) для каждого business_dttm

Например, 

amount business_dttm     moving sum
0.3 2018-11-19 13:00:00  
0.3 2018-11-19 13:05:00
0.4 2018-11-19 13:10:00  1
0.5 2018-11-19 13:15:00  1.2
0.6 2018-11-19 13:15:00  1.5
0.7 2018-11-19 13:20:00  1.8
0.8 2018-11-19 13:25:00  2.1
0.9 2018-11-19 13:25:00  2.4
0.5 2018-11-19 13:30:00  2.2

К сожалению, в Clickhouse у нас нет оконных функций и нет равных условий

Как я могу сделать это без перекрестного соединения и условия где?

1 Ответ

0 голосов
/ 22 ноября 2018

Если размер окна счетно мал, вы можете сделать что-то вроде этого 

SELECT
    sum(window.2) AS amount,
    max(dttm) AS business_dttm,
    sum(amt) AS moving_sum
FROM
(
    SELECT
        arrayJoin([(rowNumberInAllBlocks(), amount), (rowNumberInAllBlocks() + 1, 0), (rowNumberInAllBlocks() + 2, 0)]) AS window,
        amount AS amt,
        business_dttm AS dttm
    FROM
    (
        SELECT
            amount,
            business_dttm
        FROM A
        ORDER BY business_dttm
    )
)
GROUP BY window.1
HAVING count() = 3
ORDER BY window.1;

Первые две строки игнорируются, так как ClickHouse не сворачивает агрегаты в ноль.Вы можете добавить их позже.

Обновление:

По-прежнему возможно вычислить движущуюся сумму для произвольных размеров окна.Настройте window_size как хотите (3 для этого примера). 

-- Note, rowNumberInAllBlocks is incorrect if declared inside with block due to being stateful
WITH
    (
        SELECT arrayCumSum(groupArray(amount))
        FROM
        (
            SELECT
                amount
            FROM A
            ORDER BY business_dttm
        )
    ) AS arr,
    3 AS window_size
SELECT
    amount,
    business_dttm,
    if(rowNumberInAllBlocks() + 1 < window_size, NULL, arr[rowNumberInAllBlocks() + 1] - arr[rowNumberInAllBlocks() + 1 - window_size]) AS moving_sum
FROM
(
    SELECT
        amount,
        business_dttm
    FROM A
    ORDER BY business_dttm
)

Или этот вариант 

SELECT
    amount,
    business_dttm,
    moving_sum
FROM
(
    WITH 3 AS window_size
    SELECT
        groupArray(amount) AS amount_arr,
        groupArray(business_dttm) AS business_dttm_arr,
        arrayCumSum(amount_arr) AS amount_cum_arr,
        arrayMap(i -> if(i < window_size, NULL, amount_cum_arr[i] - amount_cum_arr[(i - window_size)]), arrayEnumerate(amount_cum_arr)) AS moving_sum_arr
    FROM
    (
        SELECT *
        FROM A
        ORDER BY business_dttm ASC
    )
)
ARRAY JOIN
    amount_arr AS amount,
    business_dttm_arr AS business_dttm,
    moving_sum_arr AS moving_sum

Справедливое предупреждение, оба подхода далеки от оптимальных, но он демонстрируетУникальная сила ClickHouse за пределами SQL.

...