Я полагаю, что это было бы возможно только через некую неприятную обратную разработку. Было бы очень полезно иметь доступ к приложению, которое использует упомянутый формат, чтобы вы могли сгенерировать несколько простых файлов и сравнить их в шестнадцатеричном редакторе. Вы не можете далеко продвинуться с этим методом, но вы могли бы выяснить заголовок.
Также было бы полезно изучить некоторые механизмы двоичного формата , такие как шифрование и сжатие. Если вы говорите о формате файла Visual CertExam, вероятно, что полезные данные будут надежно зашифрованы.