Если ваши файлы никогда не должны быть в файловой системе, у вас есть проблема в требованиях. Само хранилище .msi является открытым форматом и может быть прочитано многими инструментами, поэтому, если кто-то знает файл, он может найти и извлечь его вручную.
Я согласен, что лучше избегать удаления файлов после их установки по двум причинам. Один: он позволяет избежать бесполезной работы, и второй: он не вызовет сценариев восстановления из-за отсутствующих файлов, которые, по мнению установщика Windows, должны присутствовать. Вы, вероятно, должны выяснить, как определить, должны ли эти файлы присутствовать на более ранней стадии установки, и установить свойства, которые вызывают это (отключение компонентов по условию или изменение состояний компонентов).