Вы должны добавить ActionListener к вашей Enter кнопке. Вам нужно передать ссылку на ваш JDialog в конструкторе JPanel, чтобы вы могли общаться с ним. Вам либо нужно реализовать ActionListener, либо вы можете использовать анонимный класс:
enterButton.addActionListener(new ActionListener() {
public void actionPerformed(ActionEvent e) {
// Do something to your JPanel reference
}
});