Вы можете использовать атрибут target <form> для отправки данных во всплывающее окно. Если вам не нужно открывать окно явно, используя window.open, вы можете просто использовать произвольное имя окна в качестве цели, и браузер должен отправить данные в новое окно. Открывается ли новое всплывающее окно или нет, зависит от вашего браузера. Если вам нужно явно открыть всплывающее окно с помощью window.open, я думаю, что вы все равно можете настроить таргетинг на это окно с целевым атрибутом, как только откроется всплывающее окно.
var win = window.open("placeholder.htm", "mypopup"); // optional step
<form action="doit.jsp" method="post" target="mypopup">