Как улучшить сканер HBase?

Question

Как настроить HBase таким образом, чтобы сканер одновременно извлекал только несколько записей?Или как мне улучшить сканер, когда база данных содержит много записей /

Answer 1

Я полагаю, что сканер фактически запрашивает только один элемент за раз, если вы не установите кэширование. Вы можете проверить это просто с помощью getCaching ()

Каждый раз, когда вы вызываете ResultScanner # next (), он извлекает следующий элемент. Вы также можете использовать ResultScanner # next (int) для одновременного получения нескольких результатов.

При настройке сканера вы можете использовать Scan # setCaching для предварительного получения результатов. http://hadoop.apache.org/hbase/docs/r0.20.4/api/org/apache/hadoop/hbase/client/Scan.html#setCaching(int)

Скорее всего, ваш сканер работает медленно, потому что вы читаете только одну запись за раз (которая включает в себя все взад и вперед протокола RPC и еще много чего). Поэтому, если вы собираетесь много читать, пусть система заранее кеширует несколько результатов.

Answer 2

Вы также можете изучить API-интерфейс фильтра, который позволяет выборочно возвращать клиенту подмножество строк или ячеек: http://hadoop.apache.org/hbase/docs/current/api/org/apache/hadoop/hbase/filter/package-summary.html.

Answer 3

Вы можете использовать scan.setMaxResultSize для управления записями, полученными из HBase каждый раз. (Это не значит, что вы получите меньше результатов из этого запроса)

Если вы хотите ограничить результат как SQL select top 100 from TABLE; Вам нужно использовать PageFilter ^ _ ^