Массивы параллельного типа в улье

Question

У меня есть параллельные массивы в таблице улья, например:

with tbl as ( select array(1,2,3) as x, array('a','b','c') as y) 
select x,y from tbl;



x       y
[1,2,3] ["a","b","c"]
1 row selected (0.108 seconds)

Как я могу сжать их вместе (например, функцию python zip), чтобы я получил список структур, например

[(1, "a"), (2, "b"), (3,"c")]

Answer 1

Вот моя попытка избежать двойного взрыва:

with tbl as (select array(1,2,3,4,5) as x, array('a','b','c','d','e') as y) 
select collect_list(struct(xi, y[i-1])) 
from tbl lateral view posexplode(x) tbl2 as xi, i;

Однако я столкнулся со странной ошибкой:

Error: Error while compiling statement: FAILED: IllegalArgumentException Size requested for unknown type: java.util.Collection (state=42000,code=40000)

Я смог обойти ее, используя

set hive.execution.engine=mr;

, который не так быстр / оптимизирован, как использование искры или тэза, как задний конец.

Answer 2

Вы можете posexplode, поэтому он дает позиции в array, которые затем можно использовать для фильтрации.

select x,y,collect_list(struct(val1,val2))
from tbl
lateral view posexplode(x) t1 as p1,val1
lateral view posexplode(y) t2 as p2,val2
where p1=p2
group by x,y