Не думаю, что это так. Java-программа должна работать в своем собственном процессе. Окно одного процесса не может быть дочерним по отношению к окну другого процесса.
РЕДАКТИРОВАТЬ: Очевидно, я был неправ, возможно возможно, чтобы окно из одного процесса было дочерним от окна другого процесса, например здесь
Это может работать с Java, в зависимости от того, как среда Java GUI, используемая приложением, работает с элементами управления Windows. Шпион Windows может помочь вам узнать немного больше о вашем Java-приложении.