Попробуйте это - похоже, работает в Kaxaml:
<Button
MinWidth="{Binding ActualHeight, RelativeSource={RelativeSource Self}}"
MinHeight="{Binding ActualWidth, RelativeSource={RelativeSource Self}}">
Some content
</Button>
(Чтобы проверить, я поместил TextBox внутри кнопки, потому что это простой способ изменить размер содержимого без повторного анализа Xaml.)
Редактировать: извините, вероятно, должен был указать его как стиль, соответствующий вашему примеру:
<Style TargetType="Button" x:Key="SquareButton">
<Setter Property="MinWidth" Value="{Binding ActualHeight, RelativeSource={RelativeSource Self}}" />
<Setter Property="MinHeight" Value="{Binding ActualWidth, RelativeSource={RelativeSource Self}}" />
</Style>