В Ehcache нет встроенной поддержки того, что вы просите.
Если это желаемое поведение для вашего приложения, вам, возможно, придется кэшировать структуры данных, которые отслеживают их срок действия и могут обслуживать старую версию в зависимости от конкретных условий приложения.