Трудно дать точный ответ, не зная, какие технологии вы планируете использовать. Подход к приложению не может полностью не знать о планируемой физической инфраструктуре, если масштабирование является основным фактором.
Кэширование должно быть большой проблемой. Также способы расширения аппаратного обеспечения, где живут ваши данные.
Очень интересное и поучительное чтение - это реальная биография живого журнала, история масштабирования и то, как они увеличили свое физическое присутствие с огромным ростом своего веб-сайта. Одним из главных результатов их работы стала новая технология кэширования memcached, которая теперь используется FaceBook среди других. Это удивительно честно.