Снять начальные и конечные квадратные скобки, разделить на массив, разнести, преобразовать в HEX, затем снова собрать массив и, наконец, объединить его:
with data as (
select '[1,2,3,4,5]' str
)
select '['||concat_ws(',',collect_list(hex(e.a)))||']' as result
from data d
lateral view explode(split(regexp_replace(str,'\\[|\\]',''),',')) e as a
результат
[31,32,33,34,35]