Предположим, я хотел бы хранить 100 миллиардов изображений с тегами. Можно предположить, что изображения имеют уникальную кодировку. Также теги в миллионах. Как мы можем эффективно реализовать поиск, используя теги, а также реализовать нумерацию страниц. Предположим, что есть 1000 одновременных запросов на чтение. Какие современные технологии я могу использовать для реализации такого поиска? Я изучаю дизайн системы и очень хочу увидеть и узнать, как другие подойдут к этой проблеме. Какие современные технологии могут быть использованы для решения этой проблемы?
Я думал о случайном распределении изображений по разным серверам, и каждый сервер будет иметь локальный индекс тегов, который указывает на изображения, хранящиеся в отсортированном порядке, соответствующем этому тегу. Затем нам понадобится служба агрегации, чтобы агрегировать результаты на разных серверах для тега. Мы можем использовать Cassandra, где ключом раздела является кодировка изображения, а затем будет SStable тегов в качестве ключа и изображений в качестве столбцов.