Если приложение простое, то особого принципа не существует. В качестве примера, поскольку мы говорим о Google, давайте посмотрим на их главную страницу входа. Игнорируя ссылки меню, это базовая веб-страница, которая использует HTML для публикации условий поиска в серверном приложении, выполняющем поиск. Буквально тысячи пользователей могут использовать эту веб-страницу одновременно.
Чем больше пользователей, тем больше веб-серверов, на которых работает ваша веб-страница, вам потребуется.
Если приложение более сложное, например, Google Docs, вам нужно найти способ для каждого пользователя приложения сохранять данные отдельно и безопасно. Вы, вероятно, начнете с идентификатора пользователя.
Чем больше пользователей, тем больше места на диске вам понадобится. Системное управляемое хранилище будет полезно.
Что касается программного обеспечения, вы можете использовать любой язык, который вы хотите разработать для приложения. JQuery популярен. Есть Java EE, Ruby, .NET и множество других языков. У вас есть выбор MySQL, Oracle или DB2 для реляционной базы данных.