Относительная производительность по сравнению с другими эквивалентными кешами будет одним из соображений. Кроме того, подходит ли кэш для развертывания в вашем приложении (например, syscache опирается на ASP.NET, поэтому не годится для настольного приложения).
Кроме того, требуется ли кэш 2-го уровня для распространения или нет? В этом случае вам нужно будет рассмотреть такую опцию, как Velocity, которая поддерживает распространение.
Ответ на этот вопрос обсуждает плюсы и минусы использования NCache.