Вы используете DTF? (Вы должны быть; InstallUtil ужасен). Предполагая, что вы, просто вызовите return ActionResult.Failure или ActionResult.Exit. Также не забудьте установить опцию обработки возврата CustomAction на 0. Это можно сделать в WiX, используя