хотя я ставлю под сомнение выбор реализации (можете ли вы вместо этого использовать полиморфизм? Что именно вы пытаетесь сделать?), Есть свойство Parent, например,
void soSomething(Control ctrl)
{
if (ctrl is GroupBox && (ctrl.Parent is null || !(ctrl.Parent is GroupBox)))
{
//do something here
}
foreach(Control child in ctrl.Controls)
{
doSomething(child);
}
}