Swing поддерживает использование HTML во многих элементах управления, отображающих текст.
В вашем случае JList
фактически использует JLabel
для отображения каждого элемента, поэтому вам просто нужна модель списка, чтобы возвращать строковые значения в списке в виде HTML, и все должно работать.
В качестве альтернативы вы можете написать javax.swing.ListCellRenderer
, который преобразует значение в списке в HTML.
Еще немного информации о поддержке Swing HTML здесь .