Если вы используете .wixproj
напрямую через MSBuild, без Visual Studio, необходимо внести следующие изменения:
<Project ...>
...
<ItemGroup>
<WixExtension Include="WixUIExtension">
<HintPath>$(WixToolPath)WixUIExtension.dll</HintPath>
<Name>WixUIExtension</Name>
</WixExtension>
</ItemGroup>
...
</Project>