NoSQL DB и отчетность

Question

Я нахожусь в стадии архитектуры академического проекта, включающего миллиарды записей.Проект должен быть очень легким с точки зрения вычислительной мощности и легко масштабируемым.Информационная структура очень проста: мне нужно хранить список элементов, каждый из которых имеет свои особенности.Функцией являются целые числа, десятичные числа, даты, строки и т. Д. Когда данные импортируются, типы функции известны.Кроме того, функции могут использоваться для ссылки на другие элементы.
Мне нужно иметь возможность получать и сортировать список элементов по его функциям (более одного) - возможно, с использованием запросов, таких как>, <, = и регулярные выражения,длина, слева, справа, середина для строк между значениями объектов и произвольным вводом пользователем. </p>

Отчетность в виде сумм, средних значений, группирования также необходима по требованиям, которые более смягчены - нетМне нужны возможности полного куба, но чем больше, тем лучше.

Я очень новичок во всем мире NoSQL.Чтобы вы посоветовали?.

Answer 1

Если вы ознакомитесь с учебными пособиями для MongoDB, они, на мой взгляд, являются лучшим введением в систему Map / Reduce, которая используется для запросов и агрегирования.

Хотя я действительно задаюсь вопросом, почему вы пришли к выводузаранее, что NoSQL - это путь.Хотя разные элементы могут иметь разные схемы, существует ли фиксированное количество объектов и атрибутов и почему вы (если вы это сделали) исключили SQL, который, в конце концов, обладает десятилетиями накопленных возможностей для хранения и запроса данных.

Answer 2

Если вы собираетесь использовать агрегаты, то вы можете использовать карту редуктора, чтобы заполнить таблицы агрегатов и затем обслуживать эти данные.

Написание карты редукции для каждого запроса может быть громоздким, вы также можете взглянуть на Apache Pig и Hive. Это особенно полезно для любезных запросов adhoc, о которых вы говорите.