Какой-то NVP (NoSQL) будет лучшим. Учитывая ваши требования, я рекомендую mongodb. Он поддерживает все функции, которые вы ищете:
Предназначен для больших наборов документов.
Поддерживает вторичные индексы для ваших запросов метаданных.
Легко настроить наборы реплик.
Предназначен для быстрой работы и высокого масштаба.
С ним легко установить и начать работу, а с программистом работать с ним довольно просто.
Cassandra - еще одно возможное решение, но оно требует немного больше работы для настройки и планирования вашей схемы. Его главное преимущество - лучшая поддержка для шардинга нескольких центров обработки данных и избыточности. В отличие от монго, Кассандра не использует систему репликации мастер-раб.