Чтобы удалить все украшения из строки заголовка, вы можете создать меньшую панель (по высоте), которая позволит пользователю перетаскивать только внутреннюю рамку:
frame.putClientProperty("JInternalFrame.isPalette", Boolean.TRUE);
Чтобы удалить строку заголовка при использовании Metal LAF, вы можете использовать что-то вроде:
BasicInternalFrameUI ui = (BasicInternalFrameUI)frame.getUI();
Component north = ui.getNorthPane();
north.setPreferredSize( new Dimension(0, 0) );
north.validate();