Привязка будет выглядеть так:
<TextBlock Text="{TemplateBinding Content}"/>
Проблема заключается в том, что я пытаюсь установить содержимое, отличное от текста:
<Button>
<Button.Content>
<Rectangle Fill="#FFB51111"/>
</Button.Content>
</Button>
В этом случае использование ContentPresenter будет работать лучше. Он использует то же выражение привязки, но может отображать больше, чем текст. Но все это действительно зависит от вас.