Есть ли способ объединить эскизы гиперлоглога большого запроса за пределы большого запроса?

Question

Я пытаюсь выяснить, можно ли экспортировать эскизы гиперлоглога из большого запроса и объединить их снаружи для оценки количества элементов. Существует ли библиотека с открытым исходным кодом, которая может легко анализировать эскизы больших запросов?

Если нет, есть ли какая-либо общедоступная информация о формате эскизов гиперлоглога запроса bq? В частности, какой алгоритм хеширования используется, какой тип метаданных содержится и как структурированы эскизы?

Answer 1

Теперь вы можете достичь этого, используя ZetaSketch (https://github.com/google/zetasketch),, который включает реализацию алгоритма HLL ++, совместимого с реализацией Google Cloud BigQuery.

Answer 2

Детали формата эскиза и хэширования для семейства функций HLL_COUNT в настоящее время не являются публичными.

Не могли бы вы подать запрос функции на общедоступный трекер с более подробной информацией (например, с какими инструментами / языками / библиотеками вы бы предпочли взаимодействовать для оценки мощности)?