hbase.cluster.distributed установлен в true, но говорит false - PullRequest
Новая
       11

hbase.cluster.distributed установлен в true, но говорит false

0 голосов
/ 23 марта 2012

Я экспериментировал с некоторыми проблемами с полностью распространяемой версией.Прежде всего я расскажу вам мою конфигурацию:

У меня есть 4 сервера (server_ {1,2,3,4}) с 6 ГБ памяти и 2 ядрами.Я установил hadoop во всех них, это конфигурация:

  • server_1 - это namenode, datanode и вторичный namenode
  • server_2, server_3, server_4: узлы данных

Память составляет около 500 ГБ

С другой стороны, я установил hbase, и это конфигурация:

  • server_1: master и regionserver
  • server_2: zookeeper и regionserver
  • server_3 и server_4: regionserver

hbase-site.xml для каждого сервера выглядит следующим образом: 

 <property>
   <name>hbase.zookeeper.quorum</name>
   <value>server_2</value>
 </property>
 <property>
   <name>hbase.zookeeper.property.dataDir</name>
   <value>/hdfs/zookeeper</value>
 </property>
 <property>
   <name>dfs.support.append</name>
   <value>true</value>
 </property>
 <property>
   <name>hbase.rootdir</name>
   <value>hdfs://server_1:54310/hbase</value>
 </property>
 <property>
   <name>hbase.cluster.distributed</name>
   <value>true</value>
 </property>

Так что у меня есть некоторые проблемы с вамиможет помочь мне:

  1. Вставка идет медленно.У меня есть буквенно-цифровая строка с двумя семействами столбцов.Для вставки 200000 строк требуется около 9 минут, но это более или менее приемлемо.

  2. У меня есть задание уменьшения карты, где я создаю конфигурацию:

    Configuration config = HBaseConfiguration.create();

и затем я спрашиваю config.get("hbase.cluster.distributed");, и он говорит "ложь", как вы думаете?

1 Ответ

0 голосов
/ 23 марта 2012

По первому вопросу трудно дать хороший ответ о том, почему вставки медленные (или действительно ли они медленные). Мы не знаем, насколько мощны машины, какой у вас диск или сетевое оборудование, насколько велики значения отдельных ячеек, насколько велики ключи столбцов или строк и т. Д. Слишком много переменных, чтобы решить, медленно или быстро.

Что касается распределенного параметра, вам необходимо убедиться, что на компьютере, запускающем задание MapReduce, также имеется тот же файл hbase-site.xml. Также необходимо убедиться, что класс конфигурации MR загружает hbase-site.xml.

...