Макет не работает из коробки с кистями.
Когда вы назначаете LayoutTransform для Visual в VisualBrush, это не влияет на макет элемента, который заполнен Brush. Вместо этого вам придется назначить LayoutTransform Rectange вместо этого, если изображение. Однако это также растянет обводку прямоугольника.
Лучше вообще не использовать VisualBrush, а просто изображение в соответствующем родительском элементе, например граница. Это также позволило бы избежать необходимости привязки к изображениям ActualWidth и ActualHeight.
<ScrollViewer HorizontalScrollBarVisibility="Auto" VerticalScrollBarVisibility="Auto">
<Border BorderBrush="Red" BorderThickness="1">
<Image Stretch="None" Source="C:\Moray.png">
<Image.LayoutTransform>
<ScaleTransform ScaleX="6"/>
</Image.LayoutTransform>
</Image>
</Border>
</ScrollViewer>