Он растягивается, потому что вы масштабируете элемент, который также масштабирует границу. Вы можете инвертировать масштабирование границы, получив дельту по ширине / высоте и применив ее к ширине границы. Эта ширина границы должна анимироваться с той же продолжительностью и плавностью, что и общая анимация элемента.
Например, если ваш элемент масштабируется с коэффициентом 2, а ширина границы равна 1, вам нужно будет анимировать border-width от 1/2 (0,5) до 1, чтобы инвертировать эффекты деформации.