Для информации по умолчанию используется внешний вид «Металл», созданный Sun в качестве альтернативы внешнему виду Windows 95/98, что объясняет «непривлекательный» в современных стандартах.
Вы можете использовать «системный» внешний вид, который будет копией того, что имеет ваша система (более или менее):
UIManager.setLookAndFeel(UIManager.getSystemLookAndFeelClassName());
Есть другие доступные LaF, как описано в других ответах. «Нимбус» - это новый «Металл», разработанный Sun как альтернатива сегодняшним стандартам. Тем не менее, он еще молод, и есть еще вещи, которые нужно исправить и отрегулировать.