Что вы хотите сделать, это извлечь альфа-канал. Тогда используйте морфологию близко. Затем поместите результат обратно в альфа-канал, затем обрежьте и сохраните результат. В Imagemagick это будет:
Введите:
convert image.png \
\( -clone 0 -alpha extract -morphology open octagon:2 \) \
-alpha off -compose copy_opacity -composite \
-trim +repage \
result.png