Вы правы, что вам нужно использовать свойство 'Group', но в сочетании с Tab Order (из меню).
В соответствии с Порядком табуляции первая кнопка с проверенным свойством Group считается первым элементом управления в группе, а следующие элементы считаются частью группы.Новая группа запускается при обнаружении элемента управления с проверенной группой.
Возможно, ваша новая кнопка не в нужном порядке табуляции и, следовательно, не входит в группу.
Надеюсь, что это поможет
Также см. Эту ссылку:
http://www.functionx.com/visualc/controls/radiobutton.htm