При условии, что MSI Installshield является стандартным MSI, а не MSI с пользовательскими диалоговыми окнами (обычно называемыми MSI Installscript), должно быть возможно создать обновление с WIX. Это не значит, что это будет легко. Вам нужно будет сопоставить все идентификаторы GUID компонентов и, желательно, сохранять структуру таблицы каталогов идентичной среди других вещей. Могут быть серьезные проблемы.
Если вы все еще хотите попробовать это, я бы декомпилировал MSI Installshield с dark.exe, исключил ненужные разделы, такие как диалоги GUI Installshield (если у вас нет настраиваемой логики в ваших диалогах), и вообще попытался бы упростить вещи настолько возможный. В Wix есть способы вставить необходимые «стандартные элементы» MSI (например, GUI), если вы опустите код для него в исходном файле WIX и включите значения по умолчанию.
В общем, я бы не рекомендовал это, если у вас нет опыта работы с WIX и Installshield. У меня есть и то, и другое, и я думаю, что мне понадобится немало времени, чтобы успешно завершить это, но все зависит от сложности самой установки.