Вы можете использовать SetWindowRgn, только если не возражаете, чтобы он выглядел довольно странно - биты, которые выходят за пределы области, просто исчезнут. Ваша лучшая ставка, вероятно, является производной от TCustomTransparentControl, но тогда вам нужно будет выполнить пользовательское рисование. Однако я подозреваю, что эта обычная картина была тем, чего вы ожидали все время?