Youtube:
Извините, YouTube не обслуживает более 1000 результатов для любого запроса
, поэтому он, вероятно, кэширует первые результаты 1К.в чем-то похожем на bloc memcached.
Hulu: ограничение до 3000 результатов.Вероятно, также кешируется.
Google: Это чистая черная магия.Имейте в виду, что он использует много распределенных вычислений (а не простой поиск в БД) и, вероятно, кэширует первые n результатов для любого запроса, а также результаты "html ready" для каждой страницы результатов и промежуточные результаты (см. Динамическое программирование ).
Подводя итог: Ваш первый запрос к любой странице может занять больше времени, так как это может привести к тому, что механизм запустит поиск в БД / распределенный, однако его результаты(намного больше, чем сумма, которую вам покажут), вероятно, будет некоторое время храниться в очень быстром кеше для обслуживания любой страницы по тому же запросу без повторного подчеркивания базы данных.