Вы можете сделать что-то вроде этого -
TableColumn col = table.getColumnModel().getColumn(vColIndex);
col.setHeaderRenderer(new CustomTableHeaderRenderer());
И затем создать свой собственный TableCellRenderer, который расширяет любой желаемый JComponent.