Возможно, я неправильно понимаю вопрос, но, похоже, ваш другой набор Dll должен быть сгруппирован по функциям в WIX.Я бы предложил создать независимые фрагменты WIX, которые представляют функцию для каждого из ваших наборов Dlls, а затем вы можете привязать свой пользовательский интерфейс для установки определенной функции соответствующим образом.:
<Feature Id="Feature.One" Title="Feature One">
<ComponentGroupRef Id="FeatureOneDlls.Group" />
</Feature>
<Feature Id="Feature.Two" Title="Feature Two">
<ComponentGroupRef Id="FeatureTwoDlls.Group" />
</Feature>
И в каждой из функций я бы рекомендовал использовать отдельный файл wxs для предоставления информации фрагмента, содержащей файлы для этой функции.