Вы не можете контролировать, открывает ли браузер окно в новой вкладке или новом окне.
Хотя, одним из способов решения этой проблемы является установка измерения высоты и ширины в вызове на window.open()
вместе с отключением адресной строки и строки состояния.
window.open ("http://www.example.com", "mywindow","status=0,toolbar=0,height=600,width=900");
Это сработало для моего случая, я не уверен, удовлетворит ли это ваш вопрос.