Связь Hive и Hdinsight с питоном на Azure

Question

Я хочу подключить улей к кластеру hdinsight с помощью скрипта Python, но из-за проблемы с доступом не могу получить доступ к приборной панели кластера, которая выдаст мне информацию URL JDBC, которая помогает в установлении соединения с кустом.

МожетКто-нибудь, пожалуйста, помогите / порекомендуйте мне способы соединения улья с кластером hdinsight с помощью python.

import jaydebeapi
conn = jaydebeapi.connect("org.apache.hive.jdbc.HiveDriver",
       "jdbc:hive2://16.4.5.492:451/default/;ssl=true;transportMode=http;httpPath=/hive2", 
       ['Username', 'Password'],
       ["/jdbc/hive-jdbc-1.2.1-standalone.jar",
        "/jdbc/httpclient-4.4.jar",
        "/jdbc/httpcore-4.4.4.jar"])

Answer 1

WebHCat - это REST API для HCatalog, уровень управления таблицами и хранилищами для Apache Hadoop. WebHCat по умолчанию включен в кластерах HDInsight и используется различными инструментами для отправки заданий, получения статуса задания и т. Д. Без входа в кластер. Таким образом, в двух словах вы можете использовать WebHCat для запуска Hive QL в Python.

Дополнительная ссылка:

https://cwiki.apache.org/confluence/display/Hive/WebHCat https://social.msdn.microsoft.com/Forums/en-US/b8026143-975f-46c9-b937-99f604e3b757/connect-to-hive-in-hdinsight-using-python-app-on-remote-linuxbased-server?forum=hdinsight

Дополнительно вы можете обратитьсяПриведенная ниже документация для работы с драйвером JDBC:

https://github.com/uglide/azure-content/blob/master/articles/hdinsight/hdinsight-connect-hive-jdbc-driver.md

Я не пробовал этого, но после завершения настройки вы сможете использовать приведенный ниже код для запросов.

import jaydebeapi
conn = jaydebeapi.connect("org.apache.hive.jdbc.HiveDriver",
       "jdbc:hive2://my_ip_or_url:443/;ssl=true;transportMode=http;httpPath=/hive2", 
       [username, password],
       "/jdbc/hive-jdbc-1.2.1.jar")

Надеюсь, это поможет.