Вы должны удалить данные из TableModel, используемые для таблицы.
Если используется DefaultTableModel, просто установите счетчик строк равным нулю.Это удалит строки и запустит TableModelEvent для обновления графического интерфейса.
JTable table;
…
DefaultTableModel model = (DefaultTableModel) table.getModel();
model.setRowCount(0);
Если вы используете другую TableModel, пожалуйста, проверьте документацию.