Можно ли использовать Bloom Filters в BigTable для фильтрации только по идентификатору строки? - PullRequest
0 голосов
/ 20 января 2019

BigTable использует фильтры Блума, чтобы разрешить чтение точек, чтобы избежать доступа к SSTable, которые не содержат никаких данных в данной паре ключ-столбец.Можно ли использовать эти фильтры Блума, чтобы избежать доступа к SSTables, если в запросе указывается только идентификатор строки, а не идентификатор столбца?

BigTable использует пары строк-столбцов в качестве ключей для вставки в свои фильтры Блума.Это означает, что запрос может использовать эти фильтры для чтения точки, в котором указана пара строка-столбец.

Теперь предположим, что у нас есть запрос, чтобы получить все столбцы строки на основе только идентификатора строки.Насколько я могу судить, этот запрос не знает заранее, какие столбцы принадлежат строке, и поэтому он не может использовать фильтры Блума, поскольку он не может перечислить возможные пары строк-столбцов.В результате такой запрос может не иметь возможности использовать фильтры Блума, и поэтому он будет менее эффективным.

Теоретически, BigTable уже может решить эту проблему, вставив только идентификатор строки в фильтры Блума, но я не могу сказать, делает это текущая реализация или нет.

Этот вопрос может иметь значение для разработки эффективных запросов для работы в BigTable.Любые намеки были бы замечательными.

1 Ответ

0 голосов
/ 21 января 2019

Фильтр HBase Bloom выполняет проверку строк и строк.HBase был построен на основе бумаги BigTable, поэтому, скорее всего, BigTable будет делать то же самое.

HBase Bloom Filter - это эффективный механизм, позволяющий проверить, содержит ли StoreFile определенную строку или ячейку строки-столбца.,

Ссылка: https://learning.oreilly.com/library/view/hbase-administration-cookbook/9781849517140/ch09s11.html

В документе BigTable за 2006 г., однако, упоминается только поиск по столбцам с использованием фильтра Блума.
https://static.googleusercontent.com/media/research.google.com/en//archive/bigtable-osdi06.pdf

...