Программно-аппаратная структура Google Search / Maps Linux-кластеров? - PullRequest
1 голос
/ 10 июня 2010

Мне особенно интересно, как можно справиться с огромным количеством информации для коммерческой службы, такой как Google Search или Google Maps.Все мы знаем, что они используют (или, по крайней мере, «сделали») своего рода кластеры Linux, но как именно они организованы?Какое оборудование они используют, какие файловые системы, сети, какие проблемы наиболее часто встречаются?

1 Ответ

1 голос
/ 11 августа 2010

Ответ зависит от того, что вы пытаетесь сделать.Google создал свою собственную распределенную базу данных, но они также создали свои собственные вычислительные фермы и множество других вещей.Как только вы решили пойти по тому же пути, не существует простого ответа на вопрос, что делать, но вам наверняка понадобятся миллионы инвестиций в инфраструктуру и развитие.Мэтью предоставил в комментарии ссылку на материалы о том, что сделал Google.

Однако, если ваша цель - создать веб-приложение, вы можете не захотеть тратить время на создание инфраструктуры, а использовать то, что уже есть на рынке.,если вы хотите создать приложение, которое может обрабатывать огромные объемы данных, обслуживать миллионы клиентов каждый час, то вам определенно следует обратить внимание на облачную инфраструктуру, например Amazon Elastic Computing Cloud и Microsoft Azure.Разумная цена - огромная вычислительная ферма с внедренным приложением базы данных и мгновенной масштабируемостью, без каких-либо затрат на ИТ.Вы можете сразу масштабировать его с одного сервера до ста, а затем обратно на один, когда пик спроса пройден.

Вот описание Amazon Elastic Computing Cloud: http://aws.amazon.com/ec2/

Вот описание их масштабируемых служб баз данных: http://aws.amazon.com/simpledb/ http://aws.amazon.com/rds/

...