Я новичок в Fabricjs, поэтому может быть более простой ответ. Для меня это выглядит как "padding" (?) Является причиной проблемы. Посмотрите на контрольные границы, когда вы выбираете прямоугольник, они выравниваются, но больше, чем ваш прямоугольник.
Я мог бы исправить это, установив прямоугольник на (-0,5, -0,5, 1, 1), однако я думаю, что это не лучший обходной путь, и вам, вероятно, следует попытаться отрегулировать заполнение вашего прямоугольника.
Надеюсь, это поможет.
Ура!
Редактировать: Это не отступ, это ширина хода, как указала Дурга в комментариях к вопросу.