Что произойдет, если в пути к классам будет несколько файлов ehcache.xml? Какой из них будет поднят?
Это будет зависеть от ЗАГРУЗКИ. То, что будет найдено первым в CLASSPATH, будет загружено и будет действовать для остальной части вашего кода.
Это то же самое, что хранить один и тот же JAR-файл в нескольких путях вашего CLASSPATH.