GUI зависает, потому что вы проходите через код, когда вы отлаживаете программу, вы управляете потоком программы, поэтому, если программа хочет показать окно сообщения, оно будет это делать, если вы перейдете к инструкции, которая заставляет это произойти, как ShowMessageBoxA или похоже.
У вас есть этот вопрос, потому что вы действительно не понимаете, как работает отладка, поэтому, если вы изучаете некоторые уроки обратного инжиниринга, сначала немного изучите отладку, я предлагаю вам сделать несколько простых программ на C и попытаться повернуть их после пробуя продвинутые уроки.
На этом сайте есть много хороших учебников: Здесь
Если вы хотите начать обратное проектирование, получите эти уроки от LENA: Здесь
Всегда используйте виртуальную машину для реверса даже для учебных материалов;)