Я совершенно уверен, что это было бы невозможно без вмешательства в двоичные файлы запускаемой вами программы. Если целевая программа выполняет что-то вроде new Window().show(), у вас будет мало возможностей «подключиться» к системе и сказать ей поменять ее на JInternalFrame.
Я хочу сказать, что если программа написана и скомпилирована для отображения окна верхнего уровня, вы мало что можете сделать, чтобы изменить это. В системе нет «крючка», с помощью которого вы можете сказать «положите все будущие Window s в эти JInternalFrame.