Очень расплывчатый вопрос. Вы говорите, что хотите одну запись в строке? Если вы хотите использовать что-то вроде BufferedReader, прочитайте все строки, сохраните их как массив строк. Создайте новый JComboBox, передав в этом конструкторе String.
BufferedReader input = new BufferedReader(new FileReader(filePath));
List<String> strings = new ArrayList<String>();
try {
String line = null;
while (( line = input.readLine()) != null){
strings.add(line);
}
}
catch (FileNotFoundException e) {
System.err.println("Error, file " + filePath + " didn't exist.");
}
finally {
input.close();
}
String[] lineArray = strings.toArray(new String[]{});
JComboBox comboBox = new JComboBox(lineArray);