Могу ли я сначала спросить "почему"? Это кажется очень необычным, а значит, плохим юзабилити. Есть веская причина, почему вы не видите этого ни в одном приложении основного потока. Если вы хотите подменю, используйте подменю, как образец trashgod.
Вы можете добавить PopupMenuListener
во всплывающее меню вашего родительского меню, разбить на popupMenuWillBecomeInvisible
и посмотреть стек вызовов. В JDK6 это происходит от BasicMenuItemUI#doClick
вызова MenuSelectionManager#clearSelectedPath
.
Так что, если у вас действительно есть веская причина удивить пользователя, предоставьте свой собственный элемент меню.