Используйте GridLayout на панели для создания самой клавиатуры. Используйте GridLayout на панели, чтобы поместить три изображения одно поверх другого.
Используйте BorderLayout на самой раме и добавьте панель клавиатуры в CENTER, панель изображений в WEST и элемент управления (JLabel или JTextArea?) На север. Это должно выглядеть достаточно хорошо. Если вам нужно больше контроля, вы можете использовать более сложные менеджеры компоновки.