По сути, я ищу что-то вроде EnumChildWindows для Win32 на Mac и X11, которое берет дескриптор окна и возвращает список его дочерних окон.
Для X11 посмотрите на источник xwininfo , чтобы увидеть, как работает xwininfo -children.
xwininfo -children