Вероятно, они просто обрабатывают сообщение WM_NCPAINT и сами рисуют часть области, не являющейся клиентом (которая включает в себя границы и строку заголовка);они также будут обрабатывать WM_NCLBUTTONDOWN, WM_NCHITTEST и другие сообщения WM_NC *, чтобы имитировать поведение кнопки на панели заголовков.
Или, по крайней мере, так было обычно до Aero;Я не знаю, насколько это изменило такие вещи.