Если вы используете GridLayout или BorderLayout, они оба имеют методы для изменения расстояния между компонентами.
В GridLayout это можно сделать в констурторе параметра 4 int и в BorderLayout в конструкторе параметра 2 int. Оба LayoutManager имеют методы setHgap и setVgap.
Если вы используете GridBagLayout, вам нужно убедиться, что вставки в GridBagConstraints заменены на все, что вам нужно. Предполагаю, что вы используете один из других менеджеров.