Интеграция Hive-Hbase

Question

Я пытаюсь объединить Hive и Hbase вместе. Для этого я просмотрел cwiki и несколько других блогов и постов, но не смог этого сделать. Я использую Hive-0.7.0 и Hbase-0.90.4. Может ли кто-нибудь предоставить мне информацию о минимальных (и обязательных) требованиях для этого? Нужна ли мне полностью распределенная установка Hbase, чтобы использовать Hive и Hbase вместе? Когда я попробовал его в автономном режиме, я смог добавить обработчик hive-hbase, но не смог выйти за пределы этой точки.

Answer 1

Вы не указали ошибки.Но что я могу получить из вашего вопроса:

" Поскольку вы загрузили hbase-версию Hbase-0.90.4 , скачайте версию улья с таким же диапазоном, что и Hive-0.9.0 "Это будет работать нормально.

для интеграции hive hbase проверьте добавленные файлы jar

bin / hive --auxpath / hadoop / hive-0.9.0 / lib / **улей-HBase-обработчик-0.9.0.jar, / Hadoop / улей-0.9.0 / Библиотека / HBase-0.92.0.jar, / Hadoop / улей-0.9.0 / Библиотека/zookeeper-3.3.4.jar,/hadoop/hive-0.9.0/lib/**guava-r09.jar -hiveconf hbase.master = localhost: 25000

/ hadoop/hive-0.9.0/lib/ определяет уведомление о местонахождении вашего улья, которое может соответствовать вашей схеме расположения.

Все остальные - это банки, необходимые для настройки.

После успешного запускаВы можете создать таблицу, чтобы проверить, работает ли она или нет CREATE TABLE demo_hTable (ключ int, строка значения) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping "=": key, cf1: val ") TBLPROPERTIES (" hbase.table.name "=" demo_table_one ");

Этот demo_table_one должен находиться в Hbase перед запуском этого.

Answer 2

Если вы установили Hbase-0.90.4 и куст 11, то он должен работать правильно.Вы можете попробовать следующую команду, чтобы создать таблицу в кусте и отобразить ее через hbase:

в CLI улья:

Hive> создать таблицу default.hbase_hive_tbl (id int, строка имени, age int, desigстрока, строка города) хранится в 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' С SERDEPROPERTIES ("hbase.columns.mapping" = ": ключ, cf1: имя, cf1: age, cf2: desig, cf2: city") TBLPROPERTIES (" hbase.table.name "=" xyz ");

Здесь hbase_hive_tbl создается в кусте и сопоставляется с таблицей hbase XYZ.Данные, загруженные в hbase или hive, можно увидеть в любой таблице.

Я думаю, что это может решить вашу проблему.Пожалуйста, дайте нам знать в случае большего разрешения.

Answer 3

какие ошибки вы получаете? Что именно вы установили? Конфигурация очень (для кого-то без опыта) сложная.

Я бы порекомендовал вам "Cloudera". Это дистрибутив Hadoop, включающий HBase Hive. Вы можете выполнить экспресс-установку на одном компьютере (псевдо-режим). Все настраивается автоматически (HBase Hive, Zookepper и т. Д.) Единственное, что вам нужно, это RedHat или CentOS.

«MapR» является другой альтернативой.