ButtonGroup расширяет объект; это не компонент. Таким образом, он явно не добавляется в контейнер или компонент. Скорее, он группирует экземпляры AbstractButton.
Вот пример кода из документации Java.
Одним из преимуществ того, что ButtonGroup не является Компонентом (и, вероятно, причиной такой реализации), является то, что экземпляры AbstractButton на разных Компонентах могут быть членами одной и той же ButtonGroup.
Вот пример кода для его демонстрации с использованием BoxLayout.
JPanel mainPanel = new JPanel();
mainPanel.setLayout ( new BoxLayout( mainPanel, BoxLayout.PAGE_AXIS ) );
ButtonGroup group = new ButtonGroup( );
JButton dogButton = new JButton("dog");
group.add( dogButton );
JPanel dogPanel = new JPanel( );
dogPanel.add( dogButton );
mainPanel.add( dogPanel );
JButton catButton = new JButton("cat");
group.add( catButton );
JPanel catPanel = new JPanel();
catPanel.add( catButton );
mainPanel.add( catPanel );