Встроенный каркасный режим визуализирует края примитивов. Так как в D3D примитивы являются треугольниками (или линиями, или точками - но не произвольными многоугольниками), это означает, что встроенный способ не разрезает его.
Полагаю, вам нужно искать какие-то алгоритмы "обнаружения краев". Они могут работать в пространстве изображения, где вы визуализируете модель в текстуру, назначая уникальный цвет для каждого логического многоугольника, а затем выполняете проход постобработки с помощью пиксельного шейдера и обнаруживает любые изменения цвета (изменения цвета = вывод черного цвета, в противном случае выведите что-то другое ).
В качестве альтернативы, вы можете создать список строк, который имеет только те ребра, которые вам нужны, и просто отобразить их.
Еще одной альтернативой может быть использование геометрических шейдеров в Direct3D 10. Здесь много разных вариантов.