Если у вас есть ромб:
var diamond = paper.rect(rect_x, rect_y, size, size);
diamond.rotate(45);
Тогда два угла по горизонтали с координатами (nx1, ny) и (nx2, ny), где
ny = rect_y + rect_w/2;
nx1 = rect_x + rect_w*(1-Math.sqrt(2))/2;
nx2 = rect_x + rect_w*(1+Math.sqrt(2))/2;
Затем вы создаете внутри него ромб, меньший по радиусу круга.
var circle = paper.circle(cx, cy, r);
nx1 += r*Math.sqrt(2);
nx2 -= r*Math.sqrt(2);
Затем вы проверяете, находится ли центр круга между четырьмя сторонамиэтот бриллиант:
if (cy < ny - nx1 + cx &&
cy > ny - nx2 + cx &&
cy > ny + nx1 - cx &&
cy < ny + nx2 - cx)
{Circle is inside the diamond}