посмотрите на setIntercellSpacing и / или setRow / ColumnMargin.Хорошо, посмотрел методы:
// set gap between rows, api in JTable
table.setRowMargin(int)
// set gap between columns, api in TableColumnModel
table.getColumnModel().setColumnMargin(int)
// convenience for setting both row and column gaps
table.setIntercellSpacing(Dimension)