Пакет или автоматизация выполнения запросов Hive

Question

В Oracle или других БД у нас есть концепция пакета PL / SQL, в которой мы можем упаковать несколько запросов / процедур и вызывать их внутри скрипта UNIX.В случае запросов Hive, какой процесс используется для упаковки и автоматизации обработки запросов в реальных производственных средах.

Answer 1

Чтобы выполнить запросы mutilpe, просто запишите их один за другим в файл (скажем, «hivescript.hql»), а затем его можно запустить из bash, просто вызвав его через оболочку beeline или hive

beeline -u "jdbc: hive2: // HOST_NAME: 10000 / DB" -f hivescript.hql

Answer 2

Если вы хотите автоматизировать выполнение многочисленных запросов Hive, интерфейс командной строки hive или beeline (например, sqlplus с Oracle) позволяет передавать файл, содержащий одну или несколько команд, таких как множественные вставки, выбор, создание таблиц и т. Д.Содержимое указанного файла может быть создано программно с использованием вашего любимого языка сценариев, такого как python или shell.

См. Параметр «-i» в этой документации: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Cli

С точки зрения процедурного языка, пожалуйста, смотрите: https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=59690156

HPL / SQL имеетвариант Создать пакет, но если все, что вы пытаетесь достичь, написано за пределами HPL / SQL (например, python, shell), вы можете «упаковать» свое приложение в соответствии с рекомендациями по написанию сценариев для выбранного языка.