HBase поддерживается S3

Question

Я только что прочитал о возможности использовать HBase, поддерживаемый S3, в качестве файловой системы.Я также читал в другом месте, что S3 является хранилищем BLOB-объектов и не имеет функциональности для добавления в файл.Теперь без всякой функциональности добавления я не могу понять, как HBase может использовать S3 в качестве базовой файловой системы.Например, что происходит на уровне S3, когда я добавляю новый столбец в HBase?Пожалуйста, помогите с моим замешательством!

Спасибо,Вивек

Answer 1

Если вы добавите небольшую колонку, я понимаю, что HBase не будет немедленно изменять лежащее в основе хранилище.Вместо этого hbase будет (1) записывать добавление столбца / ячейки в WAL-файл с постоянной записью, а затем (2) также изменяет memcache.Когда memcache будет записан на диск, только тогда HBase изменит базовые данные на относительно большие куски (что хорошо подходит для реализаций хранилищ, таких как S3 и HDFS).