polySquare.Vertices
должно быть нужной матрицей:
>> polySquare = polyshape([0 5 5 0],[10 10 15 15]);
>> polySquare.Vertices
ans =
0 10
0 15
5 15
5 10
Таким образом, вы можете сделать:
polySquare = polyshape([0 5 5 0], [10 10 15 15]);
plot(polySquare)
square = polySquare.Vertices;
p0 = [5 10];
distancePointPolygon(p0, square)
См. документацию .