Если из-за этого всплывающего диалогового окна ваш основной поток приложения застопорился в ожидании ввода пользователя, единственное решение - запустить другой поток, который регулярно пытается найти это всплывающее окно. Когда он найдет его, используйте PostMessage для использования WM_CLOSE или аналогичного дескриптору всплывающего окна. Возможно, вам придется отправить сообщения mousedown / mouseup на кнопку во всплывающем окне.
Кроме того, я бы написал небольшое отладочное приложение, которое использует Windows API WindowFromPoint, чтобы узнать о всплывающем окне, т.е. не только видимая подпись, но и класс. Вы также можете использовать эту программу отладки, чтобы заставить FindWindow работать правильно.