Если разрешение выходного изображения выше, чем разрешение лестницы, то вы можете сделать любое количество вещей. Чтобы назвать несколько.
- морфологическая (или двоичная) морфологическая обработка с использованием
imclose
- сглаживающее края сглаживание
- маршируйте по краям ваших объектов, определяйте углы в вашей маске и делайте изображение локально выпуклым, но это потребует некоторого кодирования.
Matlab File Exchange - ваш друг.
Если разрешение выходного изображения такое же, как у лестницы, а выходной сигнал в оттенках серого, вы в значительной степени ограничены пространственными фильтрами сглаживания.
Если разрешение выходного изображения такое же, как у лестницы, а выход двоичный, очевидно, вы ничего не можете сделать.