Как предложил Telcontar, вы можете добавить компоненты Swing (например, JPanel) на панель параметров. Поэтому проще воспользоваться преимуществами автоматического создания кнопок, чем создавать их с нуля, создав собственный JDialog.
Однако есть одна небольшая проблема. Фокус будет на первой кнопке, а не на первом компоненте вашей панели. Чтобы обойти эту проблему, вы можете попробовать решение, представленное в Dialog Focus .