Нет хорошего решения для этого, регионы не могут быть сглажены.Это неизбежно, сглаживание работает только тогда, когда вы знаете цвета фона, чтобы вы могли правильно смешивать.Это не вариант для окон, фон по дизайну непредсказуем.Если это заставка, то вы можете подделать его, сделав снимок экрана с фоном и нарисовав на нем свое поддельное окно.Не будет работать дольше нескольких секунд.
Лучше всего сделать так, чтобы радиус угла был небольшим, чтобы он не был так заметен.Также используйте такой инструмент, как SysInternals 'ZoomIt, и внимательно посмотрите на закругленные углы программы, такой как Windows Media Player.Обратите внимание на серые тона, которые он использует для рисования границы.