Подключение воздушного потока HiveCliHook к удаленному кластеру ульев?

Question

Я пытаюсь подключиться к своему серверу улья из локальной копии Airflow, но похоже, что HiveCliHook пытается соединиться с моей локальной копией улья.

Я бегу к следующему, чтобы проверитьэто:

import airflow
from airflow.models import Connection
from airflow.hooks.hive_hooks import  HiveCliHook

usr = 'myusername'
pss = 'mypass'

session = airflow.settings.Session()
hive_cli = session.query(Connection).filter(Connection.conn_id == 'hive_cli_default').all()[0]

hive_cli.host = 'hive_server.test.mydomain.com'
hive_cli.port = '9083'
hive_cli.login = usr
hive_cli.password = pss
hive_cli.schema = 'default'

session.commit()

hive = HiveCliHook()

hive.run_cli("select 1")

Который выдает эту ошибку:

[2018-11-28 13:23:22,667] {base_hook.py:83} INFO - Using connection to: hive_server.test.mydomain.com
[2018-11-28 13:24:50,891] {hive_hooks.py:220} INFO - hive -f /tmp/airflow_hiveop_2Fdl2I/tmpBFoGp7  
[2018-11-28 13:24:55,548] {hive_hooks.py:235} INFO - Logging initialized using configuration in jar:file:/usr/local/apache-hive-2.3.4-bin/lib/hive-common-2.3.4.jar!/hive-log4j2.properties Async: true  
[2018-11-28 13:25:01,776] {hive_hooks.py:235} INFO - FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Кто-нибудь знает, где я иду не так?

Answer 1

• Хотя вы можете использовать HiveCliOperator ( без изменений ) для подключения и выполнения HQL операторов в remote Hive-Server, единственным требованием являетсячто в блоке , на котором работает Airflow worker, также должны быть установлены Hive двоичные файлы

• Это так, потому что hive-cliкоманда, подготовленная HiveCliHook, будет запущена на рабочей машине через устаревшую bash. На этом этапе , если Hive CLI не установлен на машине, на которой работает этот код (т. Е. Ваш работник Airflow), он сломается, как в вашем случае

---

Простой обходной путь - реализовать собственный RemoteHiveCliOperator, который

• Создает SSHHook для удаленного компьютера Hive-сервера
• И выполните свой оператор HQL через SSHHook, как this

---

Фактически это кажется универсальным недостатком почти со всеми Airflow Operator s, которые по умолчанию ожидают требуемогопакеты установлены в каждом работнике. документы предупреждают об этом

Например, если вы используете HiveOperator, интерфейс CLI должен быть установлен на этом поле