Что помогло мне, как в GD, так и в ImageMagick, это получить коды hex / rgb для цвета фона, на который вы в конечном итоге собираетесь наложить. Затем используйте его в качестве цвета фона. После поворота переведите этот цвет в прозрачный. Тогда маленькие сглаженные края будут выглядеть гладкими после наложения.