Вы должны быть осторожны при этом. Если в слитых банках есть файлы манифеста с важной информацией - они могут быть потеряны, только последний файл будет объединен.
например. Если вы объединяете JavaMail - важен файл манифеста. Если вы его потеряете - случится что-то плохое.
Самое безопасное, что нужно сделать, это просмотреть каждый файл jar и проверить файл манифеста.