Это то, что известно как проблема c10k - как вы обрабатываете 10 000 клиентов одновременно.
Программное обеспечение веб-сервера должно быть хорошо написано, чтобы каждый сервер мог общаться с ним.сотни или тысячи клиентов одновременно.
Серверная часть хранилища должна быть хорошо спроектирована, чтобы каждый сервер имел относительно бесспорную возможность записи в сеть хранения.Сеть хранения данных должна быть избыточной, чтобы мертвые диски не уничтожали пользовательские данные.(Даже частота отказов в 0,01% в год означает, что сотни мёртвых дисков в год, когда у вас их миллионы.)
Бэкэнды базы данных должны быть готовы к невероятному расширению -нет ничего глупого, как "таблица блокировок" при вставке новых записей.
инфраструктура маршрутизации должна быть подготовлена для маршрутизации трафика в близлежащие центры обработки данных, исходя из фактической стоимости трафика соответствующих интернет-провайдеров.(Нет смысла ставить всю сеть на колени, когда видео-загрузки пересекают каналы на пути к центрам обработки данных.)
Платформа маршрутизации должна быть готова для одновременной обработки целых сайтов, отключенных, чтобы перенаправить неудачные загрузки вновые серверные центры без особых проблем.
Центры обработки данных должны быть построены для обработки сбоев электропитания, сбоев кондиционирования, сбоев в сети, взломов злоумышленниками или любопытными представителями общественности, пытающимися войти, как правило, с двумяили более источников питания, в том числе массивных источников бесперебойного питания и генераторов;несколько независимых кондиционеров, которые могут работать по всему сайту;два, три, четыре или более сетевых источников;меры физической безопасности и потенциально вооруженные охранники.
Hurricane Electric имеет несколько хороших фотографий некоторых из их центров обработки данных.Они выглядят впечатляюще, но составляют крошечную часть потребностей ЦОД Google, Facebook или Amazon.