Лучшее хранилище данных для огромных данных с большим количеством операций чтения и записи

Question

Мне нужно хранить около 100 миллионов записей в базе данных. Около 60-70% из них будут удаляться ежедневно, и такое же количество записей добавляется ежедневно. Я чувствую, что база данных документов, такая как Hbase, Big Table подойдет для этого. Существует много других хранилищ данных, таких как Cassandra, MongoDb и т. Д. Какое хранилище данных будет полезно для решения этой проблемы, поскольку ежедневно будет выполняться огромное количество операций чтения / записи (порядка десятков миллионов).

Answer 1

На основании упомянутых вами характеристик (документы JSON, доступ по ключам, 100 миллионов записей, сбалансированное чтение / запись) я бы сказал, CouchDB или Membase являются хорошими кандидатами (вот быстрое сравнение )

И HBase, и Cassandra, вероятно, также могут работать, но для HBase вам нужно установить множество компонентов (Hadoop, ZooKeeper и т. Д.), Которые вы не будете использовать только d, а Cassandra лучше, когда у вас больше записей, чем читать (по крайней мере, в последний раз, когда я использовал его).

Большая таблица, к сожалению, является внутренней частью Google:)