Выберите результат двух таблиц Hive как вывод JSON

Question

У меня есть требование, когда мне нужно объединить несколько таблиц Hive в формате ORC и представить вывод в виде JSON.

Например, если у меня две таблицы Hive с отношением 1 ко многим, я хочувывод будет в формате JSON со встроенными связями и массивом.

Есть ли собственный Hive UDF, который мы можем использовать для достижения этой цели?

Я пробовал гуглить такие вещи, как to_JSON из https://github.com/klout/brickhouse, но искалчто-то более родное Hadoop, а не стороннее.

Может кто-нибудь помочь мне с этим.

Answer 1

Создать Hive table с использованием JsonSerDe .

Затем вставить в таблицу json, выбрав результат объединения.

Пример:

Insert into json_table 
select t1.* from tab1 t1 join tab2 t2 on t1.id=t2.id;

Файлы в таблице Hive (каталог hdfs) будут в формате Json .