Вы, вероятно, отображаете второе диалоговое окно, прежде чем установить его местоположение. Поэтому вместо того, чтобы делать:
dialog.setVisible(true);
dialog.setLocationRelativeTo(null);
сделать это:
dialog.setLocationRelativeTo(null);
dialog.setVisible(true);