Пользовательская агрегация Postgres возвращает ноль при распараллеливании

Question

Я создал пользовательский агрегат в Postgres 11.3, и он работает при параллельном отключении. Когда я отмечаю его как параллельный = безопасный, он возвращает ноль.

Может ли кто-нибудь указать мне, с чего начать поиск или как отладить параллельную агрегацию в postgres? При непараллельной агрегации я могу вставить состояние каждой записи во временную таблицу, но вставки не допускаются в параллельных запросах ...

Вот совокупность:

CREATE OR REPLACE FUNCTION array_sort(ANYARRAY)
RETURNS ANYARRAY LANGUAGE SQL
AS $$
SELECT ARRAY(SELECT unnest($1) ORDER BY 1)
$$;

create type _stats_agg_accum_type AS (
    cnt bigint,
    q double precision[],
    n double precision[],
    np  double precision[],
    dn  double precision[]
);

create type _stats_agg_result_type AS (
    count bigint,
    q25 double precision,
    q50 double precision,
    q75 double precision
);

create or replace function _stats_agg_p2_parabolic(_stats_agg_accum_type, double precision, double precision)
returns double precision AS '
DECLARE
    a alias for $1;
    i alias for $2;
    d alias for $3;
BEGIN
    RETURN a.q[i] + d / (a.n[i + 1] - a.n[i - 1]) * ((a.n[i] - a.n[i - 1] + d) * (a.q[i + 1] - a.q[i]) / (a.n[i + 1] - a.n[i]) + (a.n[i + 1] - a.n[i] - d) * (a.q[i] - a.q[i - 1]) / (a.n[i] - a.n[i - 1]));
END;
'
language plpgsql;

create or replace function _stats_agg_p2_linear(_stats_agg_accum_type, double precision, double precision)
returns double precision AS '
DECLARE
    a alias for $1;
    i alias for $2;
    d alias for $3;
BEGIN
    return a.q[i] + d * (a.q[i + d] - a.q[i]) / (a.n[i + d] - a.n[i]);
END;
'
language plpgsql;

create or replace function _stats_agg_accumulator(_stats_agg_accum_type, double precision)
returns _stats_agg_accum_type AS '
DECLARE
    a ALIAS FOR $1;
    x alias for $2;
    k int;
    d double precision;
    qp double precision;
BEGIN
    a.cnt = a.cnt + 1;

    if a.cnt <= 5 then
        a.q = array_append(a.q, x);
        if a.cnt = 5 then
            a.q = array_sort(a.q);
        end if;
        return a;
    end if;

    case
        when x < a.q[1] then
            a.q[1] = x;
            k = 1;
        when x >= a.q[1] and x < a.q[2] then
            k = 1;
        when x >= a.q[2] and x < a.q[3] then
            k = 2;
        when x >= a.q[3] and x < a.q[4] then
            k = 3;
        when x >= a.q[4] and x <= a.q[5] then
            k = 4;
        when x > a.q[5] then
            a.q[5] = x;
            k = 4;
    end case;

    for ii in 1..5 loop
        if ii > k then
            a.n[ii] = a.n[ii] + 1;
        end if;
        a.np[ii] = a.np[ii] + a.dn[ii];
    end loop;

    for ii in 2..4 loop
        d = a.np[ii] - a.n[ii];
        if (d >= 1 and a.n[ii+1] - a.n[ii] > 1) or (d <= -1 and a.n[ii-1] - a.n[ii] < -1) then
            d = sign(d);
            qp = _stats_agg_p2_parabolic(a, ii, d);
            if qp > a.q[ii-1] and qp < a.q[ii+1] then
                a.q[ii] = qp;
            else
                a.q[ii] = _stats_agg_p2_linear(a, ii, d);
            end if;
            a.n[ii] = a.n[ii] + d;
        end if;
    end loop;

    return a;
END;
'
language plpgsql;

create or replace function _stats_agg_combiner(_stats_agg_accum_type, _stats_agg_accum_type)
returns _stats_agg_accum_type AS '
DECLARE
    a alias for $1;
    b alias for $2;
    c _stats_agg_accum_type;
BEGIN
    c.cnt = a.cnt + b.cnt;
    c.q[2] = (a.q[2] + b.q[2]) / 2;
    c.q[3] = (a.q[3] + b.q[3]) / 2;
    c.q[4] = (a.q[4] + b.q[4]) / 2;
    RETURN c;
END;
'
strict language plpgsql;

create or replace function _stats_agg_finalizer(_stats_agg_accum_type)
returns _stats_agg_result_type AS '
BEGIN
    RETURN row(
        $1.cnt,
        $1.q[2],
        $1.q[3],
        $1.q[4]
    );
END;
'
language plpgsql;

create aggregate stats_agg(double precision) (
    sfunc = _stats_agg_accumulator,
    stype = _stats_agg_accum_type,
    finalfunc = _stats_agg_finalizer,
    combinefunc = _stats_agg_combiner,
    --parallel = safe,
    initcond = '(0, {}, "{1,2,3,4,5}", "{1,2,3,4,5}", "{0,0.25,0.5,0.75,1}")'
);

Вот код установки и запуска:

--CREATE TABLE temp (val double precision);
--insert into temp (val) select i from generate_series(0, 150000) as t(i);
select (stats_agg(val)).* from temp;

Ожидаемый результат выглядит следующим образом, и он работает при параллельной работе = unsafe

150001, 37500, 75000, 112500

Параллельно = безопасно я получаю нули:

150001, null, null, null

Answer 1

Проблема в функции _stats_agg_combiner. Определение функции включает ключевое слово strict, поэтому нет необходимости проверять нулевые входные значения.

В этом конкретном агрегате _stats_agg_accum_type включает в себя несколько массивов, а функция _stats_agg_combiner требует, чтобы эти массивы были заполнены минимум 5 записями. Это предполагает, что каждый новый экземпляр _stats_agg_accum_type обрабатывает как минимум 5 записей перед передачей в функцию _stats_agg_combiner.

Тесты проводились на таблице с 150 тыс. Записей и при условии, что каждый экземпляр получит как минимум 5 записей. По какой-то причине это неверное предположение. Независимо от количества используемых работников (проверено с 1-4) всегда есть хотя бы один экземпляр, который обработал ровно 0 записей.

Решением было добавить поддержку для экземпляра _stats_agg_accum_type, который обработал ноль записей и имел длину массива 0. См. Код ниже.

create or replace function _stats_agg_combiner(_stats_agg_accum_type, _stats_agg_accum_type)
returns _stats_agg_accum_type AS '
DECLARE
    a alias for $1;
    b alias for $2;
    c _stats_agg_accum_type;
    addA boolean;
    addB boolean;
BEGIN
    addA = a.cnt <= 5;
    addB = b.cnt <= 5;
    if addA and not addB then
        c = b;
    elsif addB and not addA then
        c = a;
    else
        c.cnt = a.cnt + b.cnt;
        for ii in 2..4 loop
            c.q[ii] = (a.q[ii] + b.q[ii]) / 2;
        end loop;
    end if;
    for ii in 1..5 loop
        if addA and ii <= a.cnt then
            c = _stats_agg_accumulator(c, a.q[ii]);
        end if;
        if addB and ii <= b.cnt then
            c = _stats_agg_accumulator(c, b.q[ii]);
        end if;
    end loop;

    RETURN c;
END;
'
language plpgsql strict;