Во-первых, вы должны изменить тип переменной в вашем Java-классе на boolean
public boolean myCheckbox;
Полный пример можно посмотреть здесь флажок mkyong jsf-2
Во-вторых, чтобы выбрать один флажок, когда другие отмечены, вы можете использовать javascript и действовать после того, как флажок будет установлен \ снят
<h:selectBooleanCheckbox value="#{Class.Varible}" onselect="checkCheckbox()" />
и создайте функцию js, которая реализует бизнес-логику.
function checkCheckbox(){
// if at least one checkbox is checked, check specific checkbox
}
Вам следует рассмотреть возможность использования selectManyCheckbox .
Надеюсь, это поможет