Я хочу CustomAction в VBScript , который отменяет установку после ее запуска.
Просто верните правильный код ошибки из вашего пользовательского действия. Об этом есть статья в MSDN Возвращаемые значения пользовательских действий JScript и VBScript .
Вам не нужно изобретать колесо здесь - WiX имеет стандартное настраиваемое действие для этого.