Нельзя, для сглаженных ребер требуется альфа-канал на пиксель (что делает AllowTransparency = true), но когда вы включаете эту опцию (либо с помощью AllowTransparency, либо с помощью Win32 API, результат тот же) вы попадаете в массу неприятностей - как вы уже обнаружили.