Могу ли я создать .msm, используя wix и nant
Да. Взгляните на элемент Module и используйте тот же набор инструментов, что и для сборки пакета MSI.