Твиттер Живой Поиск

Question

Я пытался перепроектировать Twitter-Live Search. Может быть, мы могли бы обсудить это здесь. Я говорю о функции, в которой твиты отображаются даже самое позднее "1 секунду назад" и т. Д. Пытаюсь понять, как может произойти следующее -

1. Должен быть какой-то слой между тем, когда пользователь пишет в Твиттере, и когда происходит индекс (обновления). Это слой MySQL или какой-то другой слой кэширования (memcached, cassandra)? Может быть ...
2. Индексирование - Как могут происходить обновления индекса? Они не могут построить новый индекс с нуля?
3. Индексирование - Здесь должен быть распределенный индекс. Как обновить все индексы, не обслуживая устаревшие данные из одного индекса и последние данные из другого?
4. Индексирование - Или это имеет значение, если что-то подобное происходит? Честно говоря, я так не думаю :) Какой пользователь заметит ...

У кого-нибудь есть что-нибудь интересное для добавления / обсуждения Я просто пытаюсь понять ...

Answer 1

Действительно интересно, но я думаю, что это больше вопрос "архитектуры", а не вопрос программирования.

Но, к вашему сведению, при высокой масштабируемости много информации: посты с тегами Twitter

Они хранят все твиты?Я думаю, они просто выбрасывают их через некоторое время, и, конечно, им не нужны свойства ACID?..

И я бы не стал доверять этим временным меткам, если бы я был там, где вы:)