В этом случае вам потребуется предоставить программу или скрипт удаления. Невозможно сказать базе данных установщика "просто удалите эти файлы". В этом случае вам нужно будет скопировать как приложение, так и программу удаления. Если они этого не сделают, они получат запись удаления, которую они не смогут использовать. По этой причине, если вы хотите удалить программу установки, лучше всего также использовать программу установки. Кроме того, это очень редко для приложений, которые вы просто копируете, куда бы вы не пришли с программами удаления.
(Я полагаю, что, возможно, вы могли бы использовать приложение в специальном режиме в качестве деинсталлятора, но я бы рекомендовал против этого.)