Какой механизм кэширования лучше всего подходит для больших наборов данных, которые не помещаются в памяти?

Question

Я бы хотел обслужить огромное количество ключей (100 000 000+), но только несколько (50 000) могут уместиться в памяти (те, которые наиболее востребованы)У кого-нибудь есть опыт работы с редисом, мембраной или другим?У кого-нибудь есть эталоны ключей обслуживания дисков?

Спасибо

Answer 1

Если на диске будет достаточно много ключей и если механизмы хранения не обеспечат эффективный механизм индексации, производительность будет серьезно снижена Я не думаю, что Redis B-деревья еще готовы. Вы можете проверить кабинет Токио. Кажется, он обеспечивает хранилище значений ключей + btrees.

http://www.igvita.com/2009/02/13/tokyo-cabinet-beyond-key-value-store/
http://colinhowe.wordpress.com/2009/04/27/redis-vs-mysql/

Answer 2

Сальваторе Санфилиппо ответил:

Это вариант использования для ВМ, но не когда разница между оперативной памятью и не в баран такой большой.

Кстати, в Redis нестабильная виртуальная машина заменен новой идеей под названием « дисковый магазин », который относится к вашему использованию случай, но, к сожалению, это не так производство готово на данном этапе.