Внутренняя логика дБ / операция для группировки / сжатия результата

Question

У меня есть таблица CrateDB, в которой хранится различная информация для почтовых индексов.Он содержит около 30 тыс. Почтовых индексов, и мне нужен мой запрос, чтобы вернуть определенную информацию о профилировании для всех почтовых индексов одновременно.Я понимаю, что, как правило, это неосуществимо, но, поскольку мне нужна только приблизительная информация, а многие почтовые индексы являются последовательными, я думаю, что оптимизация возможна.

Например, если бы я хотел профилировать население, это сгруппированный результатнапример, это будет работать для меня:

group 1 (0-1000): 00000-02000,02004-02010,02012
group 2 (1001-3000): ...
...

Население и группы выше, являются поддельными, но идея должна быть верна.По сути, сгруппируйте профилированную категорию в сегменты, назначьте почтовые индексы для коррекции сегмента и дополнительно уменьшите размер с помощью представления диапазона.Я мог бы согласиться на предопределенное количество групп или групповые сегменты, определенные самим запросом / запросом.Мы надеемся, что это сократит ответ от чего-то, что будет слишком большим для одного запроса, до того, который будет управляемым.

Можно ли написать функцию cratedb для выполнения чего-то подобного, чтобы избежать проблем с пропускной способностью при выполнении этой группировки надругой сервис / контейнер / vm?

Answer 1

Вы могли бы, вероятно, сгруппировать группы на лету или в виде столбцов, если хотите с помощью регулярного выражения, я сделал это для таблицы строк 23M и сгруппировал ее.

В моем примере regex группировка и AVG заняли около 30 секунд, но это очень субъективно для моего оборудования .

Что-то вродеэто, вероятно, будет работать как общий указатель

SELECT avg (--yourColumn--), regexp_matches(--yourColumn--, '--your regex--','i')[1]
FROM "doc"."--yourTable--" 
group by regexp_matches(postcode, '--your regex--','i')[1]
order by regexp_matches(postcode, '--your regex--','i')[1]

Вы можете использовать оконную функцию over , но пока нет полной поддержки SQL для разбиения и т. д.