В AIR / Flex вы ничего не можете сделать, чтобы это произошло. Поведение, которое вы видите, связано с операционной системой и настройками браузера. В AIR navigateToURL просто передает URL-адрес операционной системе, которая обрабатывает URL-адрес на основе значений по умолчанию.
Если мне не изменяет память, мой firefox по умолчанию должен открываться в новой вкладке, но я использовал некоторые настройки, чтобы она всегда открывалась в новом окне. Быстрый поиск в Google не дал мне ответа.