Процессор PutHiveStreaming компании NiFi не выбирает свойства из файла hive-site.xml. - PullRequest
Новая
       39

Процессор PutHiveStreaming компании NiFi не выбирает свойства из файла hive-site.xml.

0 голосов
/ 15 мая 2018

Я хотел бы вставить данные в таблицу улья, используя NiFi.

Лучший и самый простой вариант, который я видел, это использовать процессор PutHiveStreaming. Мне известны настройки, которые необходимо соблюдать, чтобы использовать этот процессор; некоторые из них касаются таблицы улья, которые можно сделать во время создания таблицы, а некоторые - о свойствах улья, таких как:

  1. hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
  2. hive.compactor.initiator.on = true
  3. hive.compactor.worker.threads> 0

Я установил эти свойства в hive-site.xml в нашем каталоге $ HADOOP_HOME / conf и указал полный путь к этому процессору в разделе «Ресурсы конфигурации Hive». Однако эти свойства в hive-site.xml не обрабатываются этим процессором.

Конфигурация PutHiveStreaming

К сожалению, у нас нет разрешения на $ HIVE_HOME / conf или / etc / hive / conf для прямого изменения hive-site.xml.

Может ли кто-нибудь объяснить, почему свойства hive-site.xml, предоставленные этому процессору, не используются, и что может быть обходным путем в переопределении свойств улья при использовании NiFi? то есть: есть ли способ выполнить несколько запросов для данного файла потока?

1 Ответ

0 голосов
/ 15 мая 2018

Я полагаю, что это свойства сервера, которые должны быть установлены на экземпляре HiveServer2, а не на клиенте NiFi.

Также только на ваше усмотрение, если вы используете версию NiFi до 1.2.0, вы можете запуститьв NIFI-3530 .Я не думаю, что это проблема здесь, скорее, вам нужно установить эти свойства в файле hive-site.xml, используемом экземпляром HiveServer2.

...