Я хочу создать окно не размер и без заголовка, как vista sndvol.exe DlgSimpleVolume
Используйте стиль WS_EX_DLGMODALFRAME в CreateWindowEx и не устанавливайте WS_CAPTION. Прочтите руководство о возможных стилях