Вероятно, он использует API отладки и размещает отладочные ловушки в ключевых точках приложения, чтобы перехватывать события. Вы даже можете делать то, что хотите, используя ollydbg .
РЕДАКТИРОВАТЬ: Я только что посмотрел на сайт и увидел демонстрационные видео, и я бы сказал, что они почти наверняка делают это через API отладки. Скорее всего, они устанавливают точки останова в цели в нужных точках входа функции. Когда происходит событие прерывания, похоже, что они используют вызов RPC, чтобы уведомить пользователя о своем API и позволить ему посмотреть на то, что произошло, и потенциально изменить некоторые вещи. Отправка обратно, что делать дальше, также в вызове RPC. Хороший дизайн, но просто прославленный отладчик.