Вам необходимо проверить, запущен ли процесс с именем вашего исполняемого файла.
Затем вы можете прервать установку, попросить пользователя завершить процесс или отключить его для них.
Если вы выберете второй вариант, вам придется дважды проверить, действительно ли они его отключили, прежде чем продолжить.