В Imagemagick вам необходимо использовать составную -layers с разделителем null: следующим образом:
Синтаксис Unix:
Ввод:
convert animation.gif -coalesce \
null: \
\( animation.gif[0] -alpha extract \
-draw 'fill black polygon 0,0 0,15 15,0 fill white circle 15,15 15,0' \
\( +clone -flip \) -compose Multiply -composite \
\( +clone -flop \) -compose Multiply -composite \
\) \
-alpha off -compose CopyOpacity \
-layers composite \
-layers optimize \
animation_rounded.gif
См. https://imagemagick.org/Usage/anim_mods/#composite
Поскольку ваш выводGIF, который поддерживает только двоичную прозрачность (выкл или на полную), углы не будут плавно скруглены.