Что не работает? Если оператор clearSelection(...)
выполнен, он будет работать. Если это не работает, то оператор не выполняется.
Код, который вы разместили, ничего не сделает. Этот код будет выполнен, когда кнопки будут созданы, а рамка еще даже не видна, поэтому, очевидно, они еще не будут выбраны пользователем.
... он / она выбирает одну радиокнопку ...
Итак, вам нужно добавить ActionListener
к переключателю, чтобы выполнить соответствующий код.
Прочтите раздел из учебника по Swing на Как использовать радиокнопки для получения дополнительной информации и рабочих примеров.