Установки MSI должны быть декларативными, а не процедурными.
Вы объявляете, какие файлы должны быть скопированы, и они копируются установщиком Windows. При удалении установщик Windows знает, какие файлы удалять, потому что он, потому что он установил их в первую очередь.
С другой стороны, если вы делаете что-то ручное во время установки, например, копируете файлы самостоятельно, установщик Windows не знает об этом, и вы обязаны удалить их при удалении.