HDF5 не хранит шестнадцатеричные данные, только цифры и символы. В документации для HDF5 перечислены поддерживаемые типы данных.
То, что вы интерпретируете как шестнадцатеричные данные, это очень вероятно целочисленные данные. Вы можете посмотреть типы данных в вашем файле, набрав
h5dump -A filename.h5
Флаг -A
означает: перечислить атрибуты (то есть метаданные). Вы можете посмотреть на часть файла с помощью
h5dump -A -g name_of_a_group filename.h5