Вам необходимо отредактировать файл сценария .nsi и выполнить проверку вручную (пропустите установку, если приложение уже установлено), поскольку для этого нет «переключателя».
Проблема с электронными установщиками NSIS этот сценарий создается заново каждый раз (по крайней мере, в тех уроках, которые я видел), поэтому вы можете потерять все сделанные вами изменения.
В этом случае вы не можете использовать конвейер сборки, но вам нужно открыть .nsi файл с текстовым редактором, внесите изменения и скомпилируйте все с помощью makensis.
Пожалуйста, опубликуйте свой скрипт с более подробной информацией.