Шрифт по умолчанию выделен жирным шрифтом для JList (в Metal LAF).Поэтому сначала нужно изменить шрифт по умолчанию, а затем добавить строку HTML в ListModel, чтобы выделять жирным шрифтом только тот текст, который вы хотите.Что-то вроде:
String[] items = { "one", "<html>normal <b>bold</b> normal</html>" };
JList list = new JList( items );
list.setFont( list.getFont().deriveFont(Font.PLAIN) );
Если у вас возникли проблемы, опубликуйте SSCCE , демонстрирующий проблему.