другой кадр и должен быть незапираемым.
frame.setDefaultCloseOperation(JFrame.DO_NOTHING_ON_CLOSE);
То же самое можно сделать для JDialog.
В обоих случаях в окне появится кнопка закрытия, она просто ничего не сделает.
Использование диалога лучше, чем фрейма, потому что в общем случае приложения должны иметь только один JFrame и дочерние диалоги для других окон.