Так как вы, кажется, не ограничены Drupal.
Я рекомендую взглянуть на Elasticsearch, это БД, созданная, помимо прочего, для этой цели, и вы даже можете запросить ее через HTTP.
В качестве альтернативы, я бы порекомендовал посмотреть, сколько времени занимает обход запроса, возможно, вы захотите взглянуть на технологию Websockets HTML5.
Если вы хотите копнуть глубже, Google разработал протокол SPDY, который может «работать быстрее», чем классический HTTP в включенных браузерах