Это скорее зависит от того, что вы подразумеваете под «добавлением иконки».
Если вы хотите отобразить значок для определенного типа файла, например:
Затем взгляните на Как использовать File Chooser
Однако, если вам действительно нужен предварительный просмотр файла, такой как этот:
Затем взгляните на Добавление дополнительного компонента . Аксессуар является JComponent, поэтому при необходимости вы можете добавить панель дополнительных элементов управления. Вот пример дополнительной панели управления .