Нет, нет, вам нужно добавить их в список, чтобы позже вы могли получить их все.
Где-то в вашем классе вам это нужно:
List<JTextField> fields = new ArrayList<JTextField>();
Затем, когда они добавляют их, вы можете сделать это:
int rowCounter = fields.size()+1;
pnlRows.add(new JLabel("Row " + rowCounter));
JTextField field = new JTextField(20);
pnlRows.add(field);
fields.add(field);
pnlRows.revalidate();
validate();
Затем, наконец, когда вы хотите получить их все, вы можете перебрать список и вывести все текстовые поля одно за другим.
for(JTextField field : fields){
dostuff ...
}