Поскольку вы проецируете, вы работаете с новым списком, а не с оригинальным, LINQ не является подходящим инструментом для мутации - вам также нужен ключ элемента для удаления, а не значение.
Это должно работать:
var itemsToRemove = MemoryCache.Default
.Where( x=> x.Value is CachedObjectType &&
(x.Value as CachedObjectType).ZipCode == "11111")
.Select(x=> x.Key)
foreach(var key in itemsToRemove)
MemoryCache.Default.Remove(key);