Хорошо, если предположить, что это строка однобайтовых символов, каждый из них будет представлен двумя шестнадцатеричными символами (поскольку шестнадцатеричная цифра представлена 4 битами), поэтому получите биты младшего разряда и биты старшего разряда
low = byte & 0xF;
high = (byte & 0xF0) >> 4;
, который даст вам два числа от 0 до 15, затем определите, какую цифру 0-F он представляет.