Какова производительность чтения HBase, когда данные хранятся в HDFS (HFile)

Question

Как мы знаем, данные в хранилище памяти будут сбрасываться в HDFS как HFile, когда данные в хранилище памяти достигают порога

Когда я хочу получить часть данных через ключ строки, но данные включеныHDFS, как HBase гарантирует скорость поиска (или скорость произвольного доступа)?Похоже, это будет намного медленнее, чем поиск из хранилища памяти?

Answer 1

Из HBase Справочное руководство :

HBase предоставляет две различные реализации BlockCache для кэширования данных, считываемых из HDFS: по умолчанию в куче LruBlockCache и BucketCache,которая (обычно) вне кучи ...

LruBlockCache является оригинальной реализацией и полностью находится в куче Java.BucketCache является необязательным и в основном предназначен для хранения данных кеша блоков вне кучи ...

HBase также собирает статистику кеша блоков и представляет их через веб-интерфейс.При правильной настройке вы можете достичь коэффициентов попадания 90% -95%, так что большую часть времени вы все еще будете читать из памяти.