Как вы уже заметили, CDN и кеширование определенно вам помогут. Однако я бы в основном посмотрел на CDN. Я бы использовал кеширование для относительно небольших порций данных (таких как любые списки деталей на основе базы данных, то есть списки городов или стран) или медленно изменяющиеся данные. Я бы не помещал большой медиа-контент в AppFabric Cache.
Что касается использования больших двоичных объектов / CDN для потоковой передачи, вы можете проверить в этом примере .
UPDATE
Хорошо, у вас будут какие-нибудь фото / видео манипуляции на стороне сервера? Или что люди (пользователи или администраторы) загружают, которые обслуживают пользователей?
Если нет, то ничего лишнего.
Если у вас, однако, будет какое-то изображение, обработка видео на стороне сервера, я предлагаю разделить ваше приложение на WebRole (для загрузки / скачивания / передачи пользователями) и Worker Role (для обработки). Вы можете проверить эту лабораторную работу , чтобы получить представление о том, как отделить сеть от роли работника и как передать рабочие элементы работнику.
Причиной использования отдельной рабочей роли для обработки является возможность независимого масштабирования сети или рабочего по требованию.