как работает ульи UDF, когда работает sql?

Question

Я запутался по поводу выполнения пользовательских функций Hive в SQL. Узлы получают JAR от HiveServer, когда SQL компилируется в работу MR? Если в UDF объявлены некоторые переменные stati c, где эти переменные stati c существуют?

Answer 1

Да, ваше понимание верно. Hive в основном делает эти jar-файлы доступными для всех своих узлов, добавляя их в распределенный кеш как add Jar. Вы должны зарегистрировать UDF таким образом, чтобы куст распознал его. Регистрация UDF сделает запись в метастафе улья. Обычно это делается следующим образом: CREATE FUNCTION <function_name> AS org.apache... Обычно это должно быть доступно в hive-env. sh