Для случая с кнопкой вы должны изменить порядок стилей и DataTemplate-
<DataTemplate x:Key="AlphabetsTemplate">
<Border>
<Button Content="{Binding}"
Command="{Binding Path=FilterCommand}"
CommandParameter="A"/> <!-- Doesn't Work -->
</Border>
</DataTemplate>
<Style TargetType="{x:Type ListBoxItem}" x:Key="AlphabetsContainerStyle">
<Setter Property="ContentTemplate" Value="{StaticResource AlphabetsTemplate}"/>
</Style>
Для этикетки, пожалуйста, укажите ваши требования.