Я не смог найти ничего, что бы давало вам z-порядок окна. Тем не менее, вы можете попробовать что-то вроде следующего (предупреждение, не проверено!)
int zindex = 0;
HWND window = GetTopWindow(GetParent(targetwindow));
while (window != targetwindow) {
zindex++;
window = GetNextWindow(window, GW_HWNDNEXT);
if (!window) {
zindex = -1;
break;
}
}