У нас есть сверхчувствительный сервис в реальном времени, работающий с 80k-100K QPS в часы пик и временем отклика ~ 5 мс, и нам необходим модуль кэширования для его поиска. Модуль должен иметь возможность добавлять все больше наборов данных (пары ключ-значение с различным поведением). Я думал о нескольких уровнях кэширования здесь, таких как локальный кэш, затем удаленный кэш и постоянное хранилище (например, Amazon DynamoDB).
Я просто искал некоторые общие указания здесь о том, как подойти к проблеме, стандартные способы решить, какой набор данных поместить в локальный кеш, как удалить и как перенаправить трафик в удаленный кеш и постоянное хранилище данных.
P.S. Я уже оценил DAX, и мы не сможем его использовать, потому что мы не размещены на Amazon AWS.
Я не ищу технологические рекомендации, а ищу способы решения этой проблемы, хотя было бы неплохо услышать, что некоторые технологии используются в продуктах для аналогичных случаев использования.