В какой базе данных огромный список данных одного типа? - PullRequest
0 голосов
/ 03 мая 2020
Сценарий

A python, который я пишу, генерирует идентификаторы, которые мне нужно добавить в список, в то время как другой скрипт проверяет, существует ли идентификатор в списке. Нет никаких других таблиц, отношений или чего-либо еще, просто огромный, растущий список из 6 буквенных строк. Мне нужно добавлять и читать значения как можно быстрее одновременно. Какую базу данных выбрать в этом случае? Нет базы данных SQL типа redis?

Ответы [ 2 ]

1 голос
/ 03 мая 2020

Redis идеально подходит для этого, вы можете использовать хэши Redis. Также убедитесь, что для повышения эффективности вы используете шарды, см. Ниже ссылку для получения дополнительной информации о том, как instagram снижает общие требования к памяти, используя хэши redis.

https://instagram-engineering.com/storing-hundreds-of-millions-of-simple-key-value-pairs-in-redis-1091ae80f74c

0 голосов
/ 03 мая 2020

Да, MongoDB или Redis, может сделать работу

...