Так как вы попросили мнение, я дам вам свое ... Я думаю, MongoDB подойдет для ваших нужд:
http://www.mongodb.org/
Я использовал его для хранения больших исторических наборов данных в течение пары лет, которые продолжают становиться все больше и больше, и это соответствует поставленной задаче. Мне даже не нужно было углубляться в «осколки» или некоторые дополнительные функции.
Причины, по-моему, подходящие для описываемого вами приложения:
- Это индексированное хранилище документов без схемы, что означает, что оно может быть очень «динамичным» с добавлением или удалением полей
- Я сравнил его производительность с некоторыми базами данных SQL для больших «плоских» данных, в некоторых случаях он работает на порядок лучше.
- https://github.com/guyboertje/jmongo позволит вам получить доступ к MongoDB из JRuby