Полагаю, вы захотите использовать QtActionGroup для группировки тех пунктов меню, которые должны быть взаимоисключающими. Это также делает их похожими на радио-кнопку при визуализации. Что-то вроде этого:
QActionGroup* group = new QActionGroup( this );
ui->actionTest1->setCheckable(true);
ui->actionTest2->setCheckable(true);
ui->actionTest3->setCheckable(true);
ui->actionTest1->setActionGroup(group);
ui->actionTest2->setActionGroup(group);
ui->actionTest3->setActionGroup(group);
3 пункта меню выше должны быть найдены вместе; подробнее здесь: Описание класса QActionGroup