Передача числа столбцов регулирует предпочтительный размер текстового поля .Как указывает camickr, вы можете использовать макет, который при определенных обстоятельствах будет использовать минимальный размер, равный нулю.
Если вы хотите force минимальный размер, который будет предпочтительным размероми это может или не может быть хорошей идеей), вы можете сделать:
textField.setMinimumSize(textField.getPreferredSize());