Чтобы найти процесс, прослушивающий порт 80, возможно, вы могли бы сделать эквивалент этого из командной строки:
c:\>netstat -aon | findstr 0.0:80
TCP 0.0.0.0:80 0.0.0.0:0 LISTENING 3488
3488 - это идентификатор процесса. Не уверен, какие API использует netstat.
Без отключения или перенастройки службы, которая уже использует нужный порт, все равно будет возникать проблема при перезагрузке системы. Лучше всего прервать установку, если порт уже используется. Чтобы проверить, используется ли порт, используйте этот NSIS TCP плагин .