Использование HLL_COUNT.MERGE вне SQL - PullRequest
Новая
       51

Использование HLL_COUNT.MERGE вне SQL

0 голосов
/ 25 мая 2019

Я могу использовать следующий запрос, чтобы обобщить все эскизы HLL с различными счетами: 

SELECT category, count(distinct city), HLL_COUNT.INIT(city) FROM `table`
GROUP BY category

И я получаю что-то вроде этого:

enter image description here

В то время как я обычно использую функцию HLL_COUNT.merge(...), чтобы получить общее количество, например: 

select 'all -- hll', HLL_COUNT.MERGE(x), null from (select category, count(distinct city), HLL_COUNT.INIT(city) x from `datadocs-163219.010ff92f6a62438aa47c10005fe98fc9.inv` group by category) _

enter image description here

По разным причинам мне нужно сделать MERGE вне SQL / BigQuery.Есть ли какая-нибудь библиотека / библиотека с открытым исходным кодом, где я мог бы сделать что-то вроде следующего: 

>>> hll_set
>>> {'CHAQMBgCIAuCBz8QFBgPIBQyN8hxlqEBvMMBnLMBgWnD5gTB3AH+ROgD/YMEpM8Jr70C6Q2LwwfZlQ3QMNu8AYDSBKf7AbOSqgE=',  'CHAQDhgCIAuCBxwQBxgPIBQyFP3PBMBtibMR3sgC77oViasKwfMF', 'CHAQJxgCIAuCBzIQEBgPIBQyKshxlqEBvMMBzfECh6gJxJABoNwF/rEGwf0PgYYFvOoFmzjJPZwg2y3nbw==', 'CHAQBBgCIAuCBw4QAhgPIBQyBpSJAfapKA==', 'CHAQBRgCIAuCBxEQAxgPIBQyCbaJBfqsH57tBw==', 'CHAQGBgCIAuCBykQDRgPIBQyId6SAtNvwJ0XgO8Ct/EFlvUOskG1E87ZA7/OApwg2y3nbw==', 'CHAQZhgCIAuCB2MQIxgPIBQyW5SJAcqJAbzDAcvcAoIV2xSMFsTyA42IAYkl+Wvj/AHqdJxRlEGbywG/WNjoAqS9BP3CAuPrBNSFAfdDt+YEoeIBr+ICmIYF6CL/MaLNAqKdA8k9rxntBrPVrAE=', 'CHAQEBgCIAuCByQQChgPIBQyHN6SAqjtArAJ/esCj9wSg+8KiVKNygHrpgXIogU=', 'CHAQpgkYAiALggfZAhChARgPIBQyzwKPBMwRkAzxP+wPogyqC8qJAeBo8BHsSOypAbAJriL+MYYR/1jnKqIyzR3wJIkI/QXkecNH7WCzQZgMuDvxFLh+xkboA7QB12akDhu5E+4+3KgBjAZ4nxLBRMw0xRWvIPZYszt+v1gnz2a0BZoF4wzQggHqOewsJeAxgguGErUCjGG3KuhKgUyfCtItkjOMZZwCpi3phgHlA+wRknEhwiq1Os4slgmhELEWl1f1rgH+B6e4AdCtAdkE4R7fK/gihHSRFqipAbYY9BmqP5oBgqsBvhrvEKGRAcpj7XHEVaAUrY8BylLRDgWn1wGpT6IS6irPHewb/AbKHqgQjQPyAeU82zuSHpgQ04UBzwqkFIADiBD4X6ABjBihFsIy6wmovgHNKssPsQOvGcADrQOQevMQvxKMBtANizqbP7l21+kB0UDxY92rVYCBMcD5H8CiEA=='}

>>> hll_merge_method(hll_set)
>>> 193

Можно ли это сделать каким-либо образом, используя библиотеку вне BQ с хешем, сгенерированным из нее?

1 Ответ

1 голос
/ 28 мая 2019

Это запрос функции, который вы, возможно, уже нашли в трекере проблем: текущий хеш принадлежит Google, но однажды BigQuery может использовать открытый. Проголосуйте за этот запрос.

Возможно, скоро появятся новости, и подписка на эту рассылку будет держать вас в курсе.

2019 Обновление : Найдите версию HyperLogLog ++ BigQuery с открытым исходным кодом по адресу:

...