Я большой поклонник JGoodies FormLayout. Вот пример кода одного из способов сделать это с помощью FormLayout.
JPanel panel = new JPanel();
FormLayout layout = new FormLayout("100dlu, 20dlu:grow", "pref, pref, pref");
panel.setLayout(layout);
JTextField t1 = new JTextField();
JTextField t2 = new JTextField();
JTable tb = new JTable();
JScrollPane sp = new JScrollPane();
sp.setViewportView(tb);
CellConstraints cc = new CellConstraints();
panel.add(t1, cc.xy(1, 1));
panel.add(t2, cc.xy(1, 3));
panel.add(sp, cc.xyw(1, 2, 2));