На Windows исполняемые файлы используют формат PE. Самораспаковывающиеся архивы - это PE-файлы, объединенные с архивами (иногда с дополнительными настройками).
Когда вы пытаетесь открыть такой файл в 7zfm, он вычисляет размер исполняемого файла и пытается распаковать данные, которые к нему добавляются (это данные обычно называются overlay
). Все, что вам нужно сделать, это найти смещение наложения и попытаться распаковать его.
Чтобы найти смещение наложения, необходимо рассчитать размер заголовков + размер сегментов. Это легко сделать самостоятельно, но должны быть библиотеки, которые могут сделать это за вас.