В реализации Java / библиотеки Sun / Oracle, если вы хотите создать изолированную среду, которую можно условно назвать «GUI», вам необходимо использовать нестандартный, недокументированный и неподдерживаемый sun.awt.AppContext API.
Помимо использования API-интерфейсов, связанных с таким беспорядком, вам просто нужно хранить отдельные ClassLoader s и, возможно, Thread / ThreadGroup s.
Существовал JSR для "изолятов", но пока ничего этого не произошло.