Это зависит от клиента. Например, Tkabber поддерживает вложенные группы (Preferences -> Roster -> Nested и Nested_delimiter), и я настроил :: как разделитель.
Затем в webadmin ejabberd я создаю группы:
g1
Name: Group1
sg11
Name: Group1::Subgroup1-1
Members: user1@localhost usergroup1-1@localhost
Displayed Groups: sg11
Когда пользователь входит в систему, он получает контакт usergroup1-1 и отображается во вложенной группе Group1-> Subgroup1-1