Вы можете указать свой выбор точно так же, как в своем примере. То, что кажется отсутствующим, чтобы заставить это работать, является свойством SelectedValuePath. Без этого SelectedValue будет таким же, как SelectedItem. Установив SelectedValuePath = "Content" в ComboBox, вы можете указать, что привязка SelectedValue вместо этого привязывается только к части SelectedItem, в этом случае содержимое Int, указанное вами в качестве содержимого каждого ComboBoxItem.
Вот небольшая демонстрация с этим, а также привязка значения к TextBox, где вы можете установить элемент и увидеть его отражение в ComboBox через привязку SelectedValue (или наоборот).
<StackPanel>
<StackPanel Orientation="Horizontal">
<TextBlock Text="Set Value:" />
<TextBox Text="{Binding MyIntProperty, UpdateSourceTrigger=PropertyChanged}" />
</StackPanel>
<StackPanel Orientation="Horizontal">
<TextBlock Text="Select Value:" />
<ComboBox SelectedValue="{Binding MyIntProperty}" SelectedValuePath="Content">
<ComboBoxItem>2</ComboBoxItem>
<ComboBoxItem>4</ComboBoxItem>
<ComboBoxItem>6</ComboBoxItem>
<ComboBoxItem>8</ComboBoxItem>
<ComboBoxItem>16</ComboBoxItem>
</ComboBox>
</StackPanel>
</StackPanel>