вопрос о крапивнице

Question

Я пытаюсь создавать таблицы прагматично, используя JDBC. Тем не менее, я не вижу таблицы, которую я создал из оболочки улья. Что еще хуже, когда я получаю доступ к оболочке куста из разных каталогов, я вижу разные результаты базы данных. Какие-либо настройки мне нужно настроить?

Заранее спасибо.

Answer 1

Убедитесь, что вы запускаете hive из одного и того же каталога каждый раз, потому что при первом запуске CLI куста он создает базу данных derby metastore в текущем каталоге.Эта база данных дерби содержит метаданные таблиц улья.Если вы измените каталоги, у вас будут неорганизованные метаданные для таблиц улья.Также Derby DB не может обрабатывать несколько сеансов .Чтобы обеспечить одновременный доступ к Hive, вам понадобится использовать реальную базу данных для управления Metastore, а не скудную маленькую derbyDB, которая поставляется с ним.Вы можете скачать для этого mysql и изменить свойства куста для соединения jdbc на чистый java-драйвер mysql type 4.

Answer 2

Вероятно, вам нужно настроить центральное метасторье Hive (по умолчанию Derby, но это может быть mySQL / Oracle / Postgres). Метасторка - это «клей» между Hive и HDFS. Он сообщает Hive, где находятся ваши файлы данных в HDFS, какой тип данных они содержат, к каким таблицам они принадлежат и т. Д.

Для получения дополнительной информации см. http://wiki.apache.org/hadoop/HiveDerbyServerMode

Answer 3

Попробуйте отправить по электронной почте список пользователей Hive или IRC-канал.

Answer 4

Да, это из-за неправильной настройки метастаза. Metastore хранит метаданные, связанные с вашей таблицей Hive (например, имя таблицы, расположение таблицы, имена столбцов, типы столбцов, информация о контейнерах / сортировке, информация о разделениях, информация о SerDe и т. Д.).

Метастарем по умолчанию является встроенная база данных Derby, которая может использоваться только одним клиентом в любой момент времени. Это явно недостаточно для большинства практических целей. Вам, как и большинству пользователей, следует настроить установку Hive для использования другого метастаза. MySQL кажется популярным выбором. Я использовал эту ссылку с веб-сайта Cloudera для успешной настройки метастаза MySQL.

Answer 5

Изучите ваши журналы hadoop. Для меня это произошло, когда моя система hadoop была неправильно настроена. Наменоде не удалось связаться с датодинами на других машинах и т. Д.