На случай, если в будущем ссылка Джеффа будет разорвана, вот что описано: вам нужно создать подкласс ButtonGroup, чтобы разрешить отсутствие выбора, и добавить свои кнопки в эту группу кнопок.
public class NoneSelectedButtonGroup extends ButtonGroup {
@Override
public void setSelected(ButtonModel model, boolean selected) {
if (selected) {
super.setSelected(model, selected);
} else {
clearSelection();
}
}
}