Объект, который вы передаете как сообщение в JOptionPane, может быть графическим компонентом, поэтому что-то вроде этого должно работать:
JPanel panel = new JPanel();
// Populate your panel components here.
int ret = JOptionPane.showConfirmDialog(parent, panel, "Title", JOptionPane.YES_NO_OPTION);
if ( ret == JOptionPane.YES_OPTION )
{
// Read component values.
}