Взгляните на Process и Runtime классы. Имейте в виду, что то, что вы пытаетесь достичь, возможно, не зависит от платформы.
Вот небольшой фрагмент кода, который может быть полезен:
public class YourClass
{
public static void main(String args[])
throws Exception
{
Runtime rt = Runtime.getRuntime();
Process proc = rt.exec("name_of_your_application.exe");
int exitVal = proc.exitValue();
System.out.println("Process exitValue: " + exitVal);
}
}
Один вопрос в S.O. обсуждение похожих вопросов. Другой один. И еще один.