Горизонтальное масштабирование репозиториев на обычном оборудовании x86

Question

Мне было интересно, есть ли у вас какие-нибудь советы, какая реализация репозитория имеет хорошие характеристики кластеризации и горизонтального масштабирования на обычном оборудовании?

Проблема заключается в том, что мы должны внедрить систему хранения поверх хранилища, которая будет способна принимать и обрабатывать много разнородных данных (> 500 ТБ) с большими файлами (> 50 ГБ).

Fedora Commons кажется, что можно кластеризовать только с помощью распределенной файловой системы. Apache Jackrabbit можно кластеризовать, но его хранилище данных (для больших двоичных данных) должно быть одинаковым для всех узлов в кластерной среде. Ребята, есть ли у вас какие-нибудь советы, какие системы хранилищ я должен проверить?

Answer 1

Дайте ModeShape попробовать. Это реализация JCR 2.0, которую можно настроить на использование сетки данных Infinispan в качестве основы хранилища , и ModeShape также легко кластеризуется (используется JGroups , это та же библиотека связи, которая используется в функциях кластеризации в Infinispan и JBoss Application Server, среди многих других).