Установщик Windows удаляет только те файлы, которые он устанавливает. Для файлов приложений он поддерживает операции удаления файлов . Однако эта функция не поддерживается проектами установки Visual Studio.
Таким образом, вы либо используете пользовательское действие по удалению, либо переключаетесь на средство разработки настроек, которое поддерживает удаление файлов.