Я вполне уверен, что вы не можете обнаружить щелчок за пределами самого окна, что, похоже, и является тем, что вы пытаетесь сделать.
Я бы порекомендовал диалоговое окно вместо нового окна, если вы хотите, чтобы оно закрывалось. У них есть отличные функции, такие как загрузка целых других страниц и даже фреймы.