По умолчанию WPF переопределяет RadioButtons, чтобы они выглядели как кнопки переключения. Чтобы устранить это, поместите панель внутри панели инструментов, а затем вставьте туда свою кнопку RadioButton.
<ToolBar>
<StackPanel>
<RadioButton Content="Radio Button" />
</StackPanel>
</ToolBar>