Я не сделал этого в WiX, но я сделал это в InstallShield. Ниже с моими заметками того времени:
http://blog.deploymentengineering.com/search?q=vsto
Одна из проблем, с которой вы столкнетесь, заключается в том, что WiX не имеет загрузчика, поэтому вам нужно будет найти способ связать .NET Framework и VSTO Redist (также, возможно, Office 2003 PIA; вы не сказали, какая версия VSTO, который вы используете) с вашим установщиком, если вы не выберете маршрут, который просто запустит установку, если они не найдены.
Я помню, как использовал настраиваемое действие DTF для публикации сертификата, но не могу вспомнить, было ли это необходимо для Office 2003 или только для Office 2007.