Возможно, использовать растровое изображение с альфа-прозрачностью для имитации сглаживания в дополнение к немного большей округлой области, позволяющей Windows выполнять тестирование на попадание.
Проблема здесь в том, что Win32 GDI использует регионы дляпроверка попадания, поэтому при прорисовке каждая точка в регионе имеет целочисленные координаты логических единиц, поэтому при проверке попадания может быть известно, что она находится за пределами или внутри области.
Благословит Бог
PS: AFAIK, нет никакого способа определить фактическую область, используемую окном, которое сделало бы границы окон визуализируемыми с помощью сглаживания, и Win32 поддерживает только псевдонимы для окон.WDM в Windows 7 стирает границы, но я думаю, что это тень, а не фактическая область, которая нарисована размытой.