Посмотрите на этот пример, который, кажется, делает то, что вы хотите.
http://www.java2s.com/Code/Java/Swing-JFC/CustomComboBoxwithImage.htm
То, что вы ищете, это пользовательский рендер для JComboBox. Рендерер - это просто JComponent, поэтому, если вы можете создать компонент (JPanel с необходимыми элементами, содержащимися в нем), вы можете создать практически любой результат, о котором вы только можете подумать). Вы даже можете переопределить метод рисования, если вам недостаточно использовать стандартные JComponents.