удалось решить это сам! :)
Во-первых, фрагмент не включается автоматически в основной файл Product.wxs, если на что-то явно не ссылаются. В этом случае я использую свойство ARPPRODUCTICON. Если у вас нет ничего, что вы можете использовать, вы можете просто добавить фиктивное свойство, которое никогда не будет использоваться.
Также пути к двоичным файлам будут неправильными, так как путь будет относительно файла Product.wxs. Поэтому вам необходимо использовать переменную препроцессора для текущего пути проекта.
Product.wxs
<Wix>
<PropertyRef Id="ARPPRODUCTICON" />
</Wix>
Library.wxs
<Fragment>
<WixVariable Id="WixUILicenseRtf" Value="$(var.ProjectDir)\adastra-licence.rtf" />
<WixVariable Id="WixUIBannerBmp" Value="$(var.ProjectDir)\Bitmaps\bannrbmp.bmp" />
<WixVariable Id="WixUIDialogBmp" Value="$(var.ProjectDir)\Bitmaps\dlgbmp.bmp" />
<Property Id="ARPPRODUCTICON" Value="icon.ico" />
<Icon Id="icon.ico" SourceFile="$(var.ProjectDir)/App.ico"/>
<UIRef Id="WixUI_Common" />
</Fragment>