Это зависит от вашего приложения. Хотя memcached очень быстрый, он требует некоторой передачи запросов и времени поиска памяти для каждого запроса. Эти числа увеличиваются в зависимости от того, находится ли сервер на локальном компьютере (localhost), в локальной сети или в широкой области. Размер вашего кэша обычно не влияет на скорость поиска.
Итак, если ваше приложение использует МНОГИЕ объекты на единицу обработки (на запрос, метод или что-то еще), то обычно лучше определить кэш таким образом, чтобы уменьшить общее количество обращений к кешу, пока при этом стараемся не дублировать данные кеша. Как и все остальное, это баланс.
т.е. Если у вас есть веб-запрос, который извлекает список сообщений в блоге, было бы более выгодно кэшировать весь список объектов как один ключ memcached, а не (и это, конечно, несколько плохой пример) кэшировать массив ключей кэша для тот список, который относится к индивидуально memcached объектам.