Мойша прав: хотя просто доставить статический веб-контент в масштабе Google достаточно сложно, это довольно хорошо понимают, и многие другие люди делают то же самое.
Тем не менее, это действительно доставка динамического контента, для которого Google был первопроходцем, так как их документ, с которого все началось: Анатомия поисковой системы . Существует множество хитроумных методов, некоторые из которых были упомянуты здесь, но все же ... Выполните любой запрос в Google с условиями запроса, которые не связаны друг с другом - они не будут кэшироваться - и вы все равно получите результат через пару сотен миллисекунд: это просто невероятно.
Чтобы сделать его еще более сложным, есть новая функция SearchWiki , которая добавляет динамический контент к каждому результату поиска и ограниченную персонализацию результатов, если вы вошли в систему.
Google удалось раскрыть (в некоторой степени) ум, который делает все это возможным. В конце концов, все сводится к тому, чтобы все было хорошо масштабировано по горизонтали. Вот как Google может не отставать от экспоненциального роста Интернета: просто добавьте больше оборудования в фермы BigTable, Map / Reduce и Google File System. Используя большое количество аппаратного оборудования с хорошей инфраструктурой и управлением, Google мог позволить себе хранить весь индекс в памяти, и запросы с одной машины на другую выполнялись быстрее, чем на диск.
Тем временем Yahoo! покупал все большие и большие монолитные машины, пока Sun больше не мог сделать их достаточно большими, и им пришлось переключиться на Hadoop !, слишком поздно.
Простота масштабирования HTTP-серверов в Google!