HBase и Hadoop

Question

HBase требует установки Hadoop на основе того, что я прочитал до сих пор. И похоже, что HBase может быть настроен на использование существующего кластера Hadoop (который используется совместно с некоторыми другими пользователями) или его можно настроить на использование выделенного кластера Hadoop? Я предполагаю, что последняя будет более безопасной конфигурацией, но мне интересно, есть ли у кого-нибудь опыт работы с первой (но тогда я не очень уверен, что мое понимание установки HBase правильное или нет).

Answer 1

Я знаю, что Facebook и другие крупные организации отделяют свой кластер HBase (доступ в реальном времени) от своего кластера Hadoop (пакетная аналитика) по соображениям производительности.Большие задания MapReduce в кластере могут влиять на производительность интерфейса реального времени, что может быть проблематично.

В небольшой организации или в ситуации, когда время отклика HBase не обязательно должнобудьте последовательны, вы можете просто использовать один и тот же кластер.

Существует не так много (или вообще) проблем с сосуществованием, кроме проблем с производительностью.

Answer 2

В распределенном режиме Hadoop используется для хранения HDFS. HBase будет хранить HFile в HDFS и, таким образом, получать преимущества от стратегий репликации и принципов локальности данных, представленных датододами.

RegionServer собирается в основном обрабатывать локальные данные, но все же, возможно, придется получать данные из других датоданов.

Надеюсь, это поможет вам понять, почему и как используется hadoop с HBase.

Answer 3

Мы настроили его на существующий кластер Hadoop, который имеет 1000 ядер.Короткий ответ: он отлично работает, по крайней мере, с Cloudera CH2 + 149.88 .Но в зависимости от версии Hadoop ваш пробег может отличаться.