При использовании HBase возможно ли хранить разделенные данные в основной памяти подчиненного узла, например IMDB (In-Memory DataBase)?

Question

рисунок архитектуры системы

Предварительное условие:

• Существуют системы, использующие HDFS на основе HBase.
• Таблицы, управляемые этой системой: A, B и C.
• Один master node управляет n slave nodes.
• Я хочураспределить данные таблицы B и C в основную память slave node 1, slave node 2, slave node 3, а не на диск.

Вопросы:

рисунок узла данных HDFS

• Q1.Правильно ли хранить секционированные данные таблиц B и C в memstore части Rigional Server (slave node) на рисунке чуть выше?

• Q2.Или содержимое таблиц B и C разбросано на диске slave node, собранном и загруженном в основную память master node?

• Q3.Мне нужна помощь, чтобы определить, что правильно в Q1 или Q2.

Если я искажаю структуру или взаимосвязь master / slave nodes из HDFS и HBase систем, или, если я ничего не понимаю в них, пожалуйста, дайте мне знать.

Answer 1

Если я искажаю структуру или взаимосвязь главных / подчиненных узлов систем HDFS и HBase или если я ничего не понимаю в них правильно, пожалуйста, сообщите мне

Да, похоже, вам не хватает некоторых фундаментальных концепций архитектуры HBase:

• 1 - Этот вопрос не имеет особого смысла. HBase хранит данные на диске, а последние обновления сохраняются в хранилище метаданных перед их записью на диск. Сам магазин не отражает данные, только последние изменения. Чтобы получить данные (как в команде Get), сервер региона объединяет сохраненные данные с данными хранилища метаданных. Вы не можете «хранить» что-либо в memstore - это внутренний компонент сервера региона, к которому у вас нет доступа (предоставить или выполнить некоторые административные операции).
• 2 - Главный узел является просто административным / управляющим узлом - он не хранит и не обслуживает никакие данные. Только региональные серверы делают.