Обработка хранения миллиардов кусков информации?

Question

Что является лучшим решением, если мне нужна база данных с более чем миллиардом объектов, и мне нужен немедленный (или почти немедленный) доступ к любому из элементов в базе данных в любое время.

Этобаза данных будет запрашиваться со скоростью около 1000 запросов в секунду.Строки в базе данных практически не связаны и, следовательно, не должны быть реляционными.

Если вам интересно почему, это для моделирования движущихся элементов.

Я думал о чем-то вроде нескольких кластеров Cassandra с балансировкой нагрузки, доступ к которым осуществляется через кластер веб-серверов с балансировкой нагрузки.

Деньги - это фактор, поэтому чем дешевле, тем лучше.Нет никаких ограничений на программное обеспечение или инструмент, однако он должен быть с открытым исходным кодом.

Просто нужно найти решение для базы данных, которое было бы хорошо для обработки смешного объема данных (совсем не обязательно быть реляционным)большое количество пользователей.

Очень важно, чтобы он справлялся с избыточностью и сбоями.

Просто идея высокого уровня, чтобы направить меня в правильном направлении, была бы хороша.

Answer 1

Один из вариантов, который следует рассмотреть, - это сопоставление ваших трехмерных координат с кривой заполнения пространства , эффективно представляющей точку в виде единого значения.Затем вы могли бы выполнить запросы диапазона Кассандры, чтобы получить точки в области.

Я уже видел это реализованным в 2D-пространстве, я уверен, что это возможно и в 3D.

Answer 2

Поскольку вам нужно будет эффективно получать все объекты в трехмерном интервале (X_min <= X_obj <= X_max & Y_min <= Y_obj <= Y_max & Z_min <= Z_obj <= Z_max), я не уверен, как Что ж, магазин с такими ценностями, как Кассандра, подойдет вам. Возможно, стоит также взглянуть на <a href="http://www.mongodb.org" rel="nofollow noreferrer"> MongoDB , поскольку я считаю, что это позволяет индексировать несколько полей и выполнять запросы на основе интервалов.