Какую версию Delphi вы используете? Delphi 2007 и выше добавить перегруженный TOpenDialog.Execute (ParentWnd: HWND); передача дескриптора вашего модального диалога как ParentWnd при вызове Execute () может помочь.
Для дальнейшего использования, убедитесь, что вы указали, какая версия Delphi. Например, ответы, подходящие для Delphi 2009, не очень пригодятся вам, если вы используете Delphi 5, и для человека, предоставившего ответ, это будет пустой тратой времени.