Как проверить, что JToolbar пристыкован к моему JFrame или он вытаскивается с собственным окном?
Используйте метод isFloating () из класса BasicToolBarUI.