Из вашего вопроса не ясно, что именно вы хотите сделать, поэтому я дам 2 подхода.
Либо у вас есть файл, заполненный шестнадцатеричными значениями, и прочитайте его так:
s='ABCDEF1234567890'
t={}
for val in s:lower():gmatch'(%x%x)' do
-- do whatever you want with the data
t[#t+1]=s:char(val)
end
Или у вас есть двоичный файл, и вы конвертируете его в шестнадцатеричные значения:
s='kl978331asdfjhvkasdf'
t={s:byte(1,-1)}