Похоже, что модальная форма основного приложения не принадлежит главному окну приложения, в противном случае модальная форма всегда будет оставаться над основной формой. Так что, возможно, либо отсутствует свойство MainFormOnTaskbar
для версии Delphi, в которой оно было скомпилировано, либо оно не установлено. Тогда это должно быть скрытое окно приложения, которому принадлежат окна.
Вы можете проверить, отключено ли главное окно приложения при закрытии формы «вспомогательное приложение» (это было бы в случае модальной формы), и восстановить последнее активное всплывающее окно, которое принадлежит скрытому окну приложения, если это так.
var
Wnd: HWND; // handle to 'main app's main form
mWnd: HWND; // handle to possible modal form
AppWnd: HWND; // handle to hidden Application window
begin
..
if not IsWindowEnabled(Wnd) then begin // test if there's a modal form
AppWnd := GetWindowLong(Wnd, GWL_HWNDPARENT); // TApplication window handle
mWnd := GetLastActivePopup(AppWnd); // most recently active popup window
// restore focus to mWnd
end else
// restore focus to Wnd
(Конечно, не забудьте включить тесты для результата функций API.)