IIRC значок для JFileChooser берется из переданного jFrame. Изменяя значок для JFrame, вы также должны получить изменение отраженного значка в JFileChooser.
код:
JFileChooser choice = new JFileChooser()
choice.showOpenDialog(parent);
Используемая иконка является иконкой от родителя.