Это предположение, но я предполагаю, что он пытается зарегистрировать WM DLL в хост-системе (vista), а не на устройстве WM. Я не думаю, что есть способ зарегистрировать DLL на устройстве WM в Visual Studio.
Вы можете создать CAB-файл, в котором вы можете указать, какие библиотеки DLL регистрируются самостоятельно, или вы можете написать быстрый инструмент для регистрации библиотеки DLL. И то, и другое довольно просто сделать.