Hbase читать высокой нагрузки

Question

Я нахожусь в процессе поиска решения для NoSQL для нужд нашей компании.Пока поиск сужается до hBase.Я много читал об архитектуре, производительности и т. Д., Но одна вещь до сих пор раскрыта для меня.

Например, если у вас кластер из 100 узлов, и одна строка получает 100 000 одновременных запросов.В этом случае все 100.000 запросов будут попадать только в один узел, где хранится строка?Как я понимаю, репликация HBase предназначена только для резервного копирования данных (не для балансировки нагрузки при чтении), и нет никакого механизма master / slave (как в MySQL)?

Answer 1

Репликация HBase предназначена не только для резервного копирования данных, но и доступности. Поскольку это не единственный вопрос, который вы затрагиваете здесь своим вопросом, я указал вам на эту ссылку, где вы можете найти больше информации. Если у вас есть конкретные вопросы относительно дизайна вашей схемы, вы должны в первую очередь начать с главной страницы размещенного проекта Apache. Для последнего вопросительного знака о главном / подчиненном, тот URL-адрес, который я послал, по-прежнему применяется (и вы можете спросить об этом разработчиков HBase, если вы все равно не уверены): http://hbase.apache.org/replication.html

Answer 2

Относительно 100.000 одновременных запросов на одну строку - я думаю, что никто не подходит для этого в настоящее время.При нормальных условиях это просто не нужно - клиенты в любом случае изолированы от БД, поэтому в этом случае доступ ограничен (и, вероятно, кешируется).

Относительно хранения и репликации.Во-первых, существует как минимум 2 типа репликации, и на самом деле это не HBase.HBase опирается на HDFS, которая по своей природе является отказоустойчивой.Прочтите о ролях HBase master и HBase region server, если вам необходимо разобраться в деталях, но в целом все, что связано с репликацией, относится к HDFS.

Answer 3

Полагаю, что 100 000 одновременных запросов не будут работать очень хорошо на HBase, однако сценарии реального мира, кажется, работают достаточно хорошо. yfrog получает 10 000 запросов в секунду и eBay выбрал его для новой версии своихсистема поиска продуктов , а также Facebook для их системы обмена сообщениями Вы также можете взглянуть на тесты hstack на более скромном кластере