Я думаю, вы должны спросить себя, почему это должно быть более гладким. Если вы сегментировали изображение и получили такой результат, уверены ли вы, что сглаживание даст вам правильный результат?
Если это так, то ответ Стива Эддинса, похоже, помогает.
Если, с другой стороны, объект, который вы пытаетесь сегментировать, гораздо более плавный, чем результат, я бы предложил один из двух подходов.
Если целевой объект представляет собой крест (две линии), я, вероятно, рассчитал бы линии и изменил бы представление на два отрезка. Затем они могут быть воспроизведены с любой точностью и плавностью. Чтобы сделать это, вы можете либо найти центр и вращение, используя какой-то алгоритм обнаружения объектов, либо использовать грубые преобразования, чтобы найти линии. Последнее, вероятно, намного проще.
Если цель может иметь любую форму, то я бы посмотрел на лучший алгоритм сегментации. Существуют алгоритмы сегментации, не основанные на жестких пороговых значениях. Для этого я использовал алгоритмы разбиения графа, и хотя они медленные, они хорошо работают.