new File(fileName).getName();
или
int idx = fileName.replaceAll("\\\\", "/").lastIndexOf("/");
return idx >= 0 ? fileName.substring(idx + 1) : fileName;
Обратите внимание, что первое решение зависит от системы. Принимается во внимание только символ разделителя пути системы. Так что, если ваш код работает в системе Unix и получает путь Windows, он не будет работать. Это тот случай, когда обработка загрузки файлов отправляется Internet Explorer.