ОК, эта ссылка дает вам формат файла Windows DLL / Исполняемые файлы:
http://www.openrce.org/reference_library/files/reference/PE%20Format.pdf
Вы можете видеть, что в заголовках есть несколько возможных мест, где можно хранить контрольные суммы, некоторые из которых являются необязательными, поэтому вам нужно проанализировать изображение, чтобы выяснить, что там. Существуют такие инструменты, как парсеры Python PE (Google для опций), чтобы помочь с этим.
Как только вы знаете, какие байты вы хотите изменить, выберите шестнадцатеричный редактор и сделайте это. Вы даже можете редактировать двоичные файлы в Visual Studio.
[Редактировать: Но, как я прокомментировал выше, я думаю, что Windows может вызвать недовольство, если она не соответствует ожидаемому значению]