Посмотрите на метод запуска объекта WSHSell . У меня работает следующий код:
var shell = new ActiveXObject("WScript.Shell");
shell.run("cmd /c java -jar MyApplication.jar");
// should work without JARs as well, take care for the working path
У метода run есть возможность дождаться возврата Java-программы.
Надеюсь, это поможет.