в win32 мы можем использовать SetWindowRgn, чтобы придать окну круглый угол, как нарисовать границу для этого ригона?это не прямоугольник.
Обработайте сообщение WM_NCPAINT, и вы сможете нарисовать рамку окна и границы самостоятельно.
WM_NCPAINT