Поскольку подчеркивание на самом деле не является разделителем расширений, вам придется разделить имя:
String[] parts1 = file1.getName().split("_");
String[] parts2 = file2.getName().split("_");
Тогда вы можете переименовать
file1.renameTo(parts1[0] + "_" + parts2[1]);
(выше, file1
и file2
являются экземплярами java.io.File
)