Можем ли мы запускать запросы из Custom UDF в Hive?

Question

Ребята, я новичок в Hive и у меня есть некоторые сомнения в этом.

Обычно мы пишем пользовательский UDF в Hive для определенного количества столбцов.(Рассмотрим UDF на Java).Означает, что он выполняет некоторую операцию над этим конкретным столбцом.

Я думаю, что мы можем написать такой UDF, через который мы можем дать конкретный столбец в качестве входных данных для какого-либо запроса, и можем ли мы вернуть этот запрос из UDF, который будет выполнятьв Hive CLI, взяв столбец в качестве входных данных?

Можем ли мы сделать это?Если да, пожалуйста, предложите мне.Спасибо и извините за мой плохой английский.

Answer 1

Это невозможно из коробки, поскольку во время выполнения запроса Hive уже создан план, который будет выполняться. Вы предлагаете динамически изменять этот план во время его выполнения, что не только сложно, потому что план уже создан, но и потому, что задания Hadoop MapReduce уже выполняются.

То, что вы можете сделать, это сделать так, чтобы ваш первоначальный запрос Hive выводил новые запросы Hive в файл, а затем создавал некоторый сценарий bash / perl / python, который проходит через это, формулирует новые запросы Hive и передает их CLI. *