Apache Drill - интеграция Hive: Drill не перечисляет таблицы - PullRequest
Новая
       35

Apache Drill - интеграция Hive: Drill не перечисляет таблицы

0 голосов
/ 24 октября 2018

Я пытался интегрировать Apache Drill с Hive, используя конфигурацию Hive Storage Plugin.Я настроил плагин хранилища со всеми необходимыми необходимыми свойствами.В Drill Shell я могу просматривать базы данных Hive, используя: 

Show Databases;

Но когда я пытаюсь составить список таблиц, используя: 

Show Tables;

, я не получаю результатов (Нет списка таблиц).

Ниже приведены шаги, которые я выполнил из документации Apache Drill и других источников:

  1. Я создал распределенный кластер Drill, обновив drill-override.conf с помощьюодин и тот же идентификатор кластера на всех узлах вместе с IP-адресом ZK с портом и последующим вызовом drmbit.sh на каждом узле.
  2. Запущена оболочка Drill с использованием drill-conf , Гарантировано, что служба метастазов Hive активнаа также.

Ниже приведена конфигурация, выполненная в плагине Hive Storage Drill (из его веб-интерфейса): 

{
  "type": "hive",
  "configProps": {
    "hive.metastore.uris": "thrift://node02.cluster.com:9083",
    "javax.jdo.option.ConnectionURL": "jdbc:mysql://node02.cluster.com/hive",
    "hive.metastore.warehouse.dir": "/apps/hive/warehouse",
    "fs.default.name": "hdfs://node01.cluster.com:8020",
    "hive.metastore.sasl.enabled": "false"
  },
  "enabled": true
}

Все свойства устанавливаются после обращения к hive-site.xml

Итак, это то, что все остальные сделали для интеграции Drill с Hive.Я что-то здесь упускаю?

Относительно версий - Drill: 1.14, Hive: 1.2 (Hive Metastore: MySQL) У нас также есть Hive Server2 на тех же узлах, это вызывает какие-либо проблемы?Я просто хочу интегрировать Drill с Hive 1.2, я делаю это правильно?Любые указатели будут полезны, потратили почти 2 дня, чтобы сделать это правильно.Спасибо за ваше время.

1 Ответ

0 голосов
/ 24 октября 2018

Начиная с версии Drill 1.13 Drill использует версию клиента Hive 2.3.2.Рекомендуется использовать версию Hive 2.3, чтобы избежать непредсказуемых проблем.

Что касается вашей настройки, пожалуйста, удалите все configProps кроме hive.metastore.uris.Другие конфиги могут быть по умолчанию (это HiveConf.java ) или могут быть указаны в вашем hive-site.xml.

Также в случае пустого результата после использования Show Tables; даже после выполнения use hive проверьте наличие ошибок в лог-файлах Drill.Если есть какая-то ошибка, вы можете создать билет Jira, чтобы улучшить вывод Drill для отражения этой проблемы.

...