Потоки Кафки: количество строк в магазине - PullRequest
0 голосов
/ 06 июня 2018

Мне нужно получить количество строк в хранилище, при этом хранилище поддерживается в низкоуровневых API процессоров.Я вижу, что метод "visibleteNumEntries ()" может обеспечить приблизительное количество отображений значения ключа в этом хранилище.Не могли бы вы уточнить% точности, то есть, если в магазине будет 100 строк, получим ли мы 95 как приблизительное число ИЛИ может ли оно быть даже ниже 50?Просто пытаюсь понять факторы, которые могут повлиять на точность подсчета.

Примечание. Предположим, что потоковое приложение использует одну тему и выполняется в одном экземпляре.Доступ к хранилищам осуществляется через низкоуровневые API-интерфейсы процессора, но не уверен, что кеширование применяется по умолчанию.Частота фиксации остается по умолчанию.

1 Ответ

0 голосов
/ 07 июня 2018

Зависит от магазина.Если вы используете хранилище RocksDB по умолчанию, метод внутренне возвращает "rocksdb.estimate-num-keys" из RocksDB (ср. https://github.com/facebook/rocksdb/wiki/RocksDB-FAQ) - не уверен, каковы границы ошибок.

Для хранилищ в памяти:на самом деле это точное число в текущей реализации (текущий выпуск 1.1).

...