Поскольку вы перемещаете сцену и все позиции внутренних фигур (например, прямоугольники и линии направляющих) относительно сцены, вам необходимо настроить вычисления положения.
Для этого вы можете просто обновить getClientRect
использование функции:
node.getClientRect({ relativeTo: stage});
ДЕМО: https://jsfiddle.net/rbahewmu/