Это должно сделать текст повернутым.
<TextBlock Text="Testing" HorizontalAlignment="Center" VerticalAlignment="Center" IsHitTestVisible="False">
<TextBlock.LayoutTransform>
<RotateTransform Angle="90" />
</TextBlock.LayoutTransform>
</TextBlock>
Затем вам нужно будет включить его после GridSplitter в тот же столбец. IsHitTestVisible на всякий случай мешает работе мыши.
РЕДАКТИРОВАТЬ: Просто чтобы быть ясно, это будет дочерний элемент сетки, а не GridSplitter. Он просто рендерит поверх GridSplitter.